История усадьбы рода Рукавишниковых началась в первой половине XIX века. Тогда набережная активно застраивалась, а одной из построек стал дом небогатого купца Серапиона Везломцева. В 1868 году его приобретает мануфактурщик Михаил Рукавишников, но вскоре умирает, после чего дом достается сыну. Существующее здание увеличили и решили перестроить в стиле популярной тогда эклектики…