Дворец построен в 1785 году как подарок Екатерины II своему фавориту Г.Г. Орлову. Проект дворца разработан А. Ринальди. Название дворца отражает материал, которым он облицован снаружи и изнутри - это 32 сорта мрамора различных расцветок, добытые в Карелии, Греции и Италии. Это - первый дворец Петербурга, отделанный природным камнем.
Над портиком главного входа сделан аттик со скульптурами работы Ф.И. Шубина (\"Верность\" - справа, \"Щедрость\" - слева). После революции часы на аттике перестали работать. Благодаря тому, что точно такой же механизм установлен на Часовой башне Гатчинского дворца, в 1990-х годах специалистам удалось восстановить поврежденные детали и собрать часы.
Считается, что Екатерина II сама предложила А. Ринальди наброски здания в форме буквы \"П\". Дворец-подарок был для нее очень важен, поэтому императрица наблюдала за постройкой и награждала отличившихся работников.
В 1788 году по проекту архитектора П.Е. Егорова построен служебный корпус Мраморного дворца. Ограда с каменными вазами также создана по рисунку П.Е. Егорова и похожа на решетку Летнего сада. Это не удивительно, так как в ее строительстве зодчий также участвовал.
Выше второго этажа дворец украшают коринфские пилястры, выполненные из розового твидийского мрамора. К сожалению, за прошедшие годы он несколько потемнел.
Мраморному дворцу повезло. После революции в нем была Российская Академия материальной культуры, а с 1936 года - филиал музея В.И. Ленина. С 1950 года перед входом стоял броневик, с которого Ленин выступал перед рабочими. С 1992 года во дворце работает филиал Русского музея, проводятся выставки и мероприятия.