До Елагина острова было удобно добираться по воде. В 1822 году архитектор Карл Росси построил для императрицы Марии Федоровны гранитную пристань для приема кораблей и павильон с несколькими комнатами. Когда императрица находилась на острове, на флагштоке поднимали Андреевский флаг. Летом вдовствующая императрица занималась в павильоне рукоделием.
Павильон оформлен Карлом Росси в строгом классическом стиле. Прямоугольный симметричный корпус здания предваряет полукруглая ротонда, обрамленная шестью колоннами. Говорят, что в павильоне очень звонкое эхо - голос усиливается и распространяется в сторону пристани. Вероятно, отсюда приветствовали прибывающих венценосных особ.
Во второй половине XIX века на Елагином острове была запасная резиденция Романовых, здесь останавливался Николай I, гостили члены императорской семьи. С 1906 года в Елагином дворце была резиденция премьер-министров. Наверняка по гранитной лестнице к павильону поднимались С. Витте и П.Столыпин. Сегодня в павильоне находится один из залов музея.