Issu d'une famille d'origine goréenne, Babacar Joseph Ndiaye est né le 15 Octobre 1922 à Rufisque.
Avant d'occuper officiellement le poste de conservateur de la maison des esclaves par une nomination en 1967, il a eu à participer à la libération de la France sous les drapeaux de l'armée française en 1943, à la bataille du mont Cassin en Italie, il a aussi été tirailleur sénégalais et parachutiste de la première brigade de commandos parachutistes coloniaux en extrême orient.
Sa mise en scène artisanale savait susciter culpabilité et émotion chez tous les visiteurs qu'il menait dans le couloir sombre conduisant à l'océan, jusqu'à la "porte du voyage sans retour". Un parcours qu'ont emprunté les grands de ce monde, de Bill Clinton à Nelson Mandela en passant par le pape Jean Paul II.
Dès 1978, la maison, dont les murs étaient parsemés de citations collées par le conservateur lui-même, avait été inscrite par l'Unesco au patrimoine de l'humanité.
Il décéda le 06 Février 2009 à l'hôpital Principal de Dakar des suites d'une longue maladie qui l'aurait depuis un bon moment et repose désormais au cimetière Layène de Cambérène.