Дом государственного деятеля И.П. Елагина был выкуплен Александром I для матери Марии Федоровны. Предполагалось, что вдовствующая императрица будет проживать в нем в летнее время. Сделать из дома дворец, достойный венценосных особ, было поручено Карлу Росси. Перестройка усадьбы завершилась в 1822 году.
Симметричное трехэтажное здание в классическом стиле украшено колоннами и портиками. На Среднюю Невку выходит восточный фасад здания, украшенный полукруглой ротондой с колоннами. Эта часть дома завершается куполом. По обе стороны круглой лестницы стоят мраморные вазы.
Разрушенный во время войны Елагин дворец, можно заметить на 3-й минуте фильма \"Небесный тихоход\" (реж. С. Тимошенко, 1945 год). На фоне дворца сняты сцены музыкального фильма \"Грустить не надо\" (реж. О. Ерышев, 1985 год). В сериале \"Мастер и Маргарита\" (2005 года) дворец изображает психиатрическую клинику профессора Стравинского.