Участок между Фонтанкой и Садовой был подарен Петром I Г.Д. Юсупову. Долгое время здесь был деревянный дом в стиле барокко, принадлежавший Б.Г. Юсупову. В 1793 году дом перестроен его сыном Н.Б. Юсуповым, чтобы разместить коллекцию предметов искусства. Работы выполнял архитектор Д. Кваренги, превративший загородную дачу в городской дворец.
Д. Кваренги сохранил общий симметричный вид старой постройки, но изменил декоративное оформление, придав зданию черты классицизма. У здания появился парадный вход с открытым тамбуром, к которому ведут наклонные пандусы. Переходы в боковые крылья получили две лоджии с балюстрадами и четверкой тосканских колонн.
Николай Юсупов некоторое время жил во дворце со своей супругой, но уже в 1810 году дом продали казне. Скоро в нем открылся Институт инженеров путей сообщения, который работает в нем и сегодня. Рядом открыт музей железнодорожного транспорта.