Benjamin, 16 Eylül 1861'de Charleston, Güney Carolina'da özgür bir insan olarak doğdu. (özgür kelimesinin o zamanlarda siyahi insanlar için ne kadar önemli olduğu vurgulanıyor burada) Babası Yahudi ve annesi siyahtı. Ailesi, çocuklarına iyi bir eğitim alma hakkı vermeyi umduğu Boston, Massachusetts'e taşındı.