绣衣纺始建于明代，当时这条街巷的会馆中，聚集了很多到此求学的读书人，街巷中常见秀才文人行走。这里也居住着很多的大户人家，并出仕为官。明清时期，读书人都穿刺绣的衣服，绣衣成为封建社会读书人身份的象征。