В 1797 году княгиня А.Г. Белосельская-Белозерская купила у сенатора Нарышкина дом на набережной Фонтанки. Богатая наследница купца Мясникова пользовалась расположением царственных особ, была пожалована в кавалерственные дамы, а затем в статс-дамы. Скромный особняк не соответствовал такому высокому положению, поэтому его было решено перестроить.
Превратить дом во дворец, было поручено архитектору А. И. Штакеншнейдеру. Зодчий перестроил корпуса, выходившие на Фонтанку и Невский проспект, а также переделал внутренние помещения. Фасады оформлены в стиле барокко - колонны, портики, круглые окна, обилие лепнины. Пилястры держат атланты, выполненные датским скульптором Д.И. Иенсеном.
С момента постройки в пышном дворце проводились балы, на которых присутствовали и царственные особы. Во дворце проводились музыкальные вечера, выступали Ференц Лист и Антон Рубинштейн. На концертах бывал П.И. Чайковский. Эта традиция продолжается и сегодня - с 1991 года во дворце выступает Академический симфонический оркестр, проводятся выставки.