Первый дворец на этом месте принадлежал графине Воронцовой. В 1799 году его купила М.А. Нарышкина. К торжествам по поводу свадьбы Софьи Нарышкиной и Петра Шувалова дворец перестроен архитектором Б.Симоном. Фасады в стиле итальянского возрождение выполнены Н.Е. Ефимовым и И. Скотти. С этого момента дворец стал называться \"Шуваловским\".
Советский термин \"приспособление\" лучше всего отражает, что происходило с дворцом при Советах. Он был лазаретом, домом печати, здесь был союз писателей и дом техники. С 1965 года - Дом дружбы и мира. С 2006 по 2013 годы впервые за 200 лет во дворце музее прошла реконструкция, он восстановлен в историческом виде для размещения музея.
После реконструкции, продолжавшейся 7 лет, дворец площадью 4700 кв. метров предстал перед нами в историческом виде. В 2013 году в нем открылся музей Карла Фаберже, уникальная коллекция которого насчитывает 4000 экспонатов, представляющих художественную и историческую ценность.