Дворец построен по указу императрицы Екатериной II в подарок своему фавориту светлейшему князю Г.А. Потемкину за взятие Крыма. В то время полуостров назывался Таврида, поэтому князю присвоили титул Таврический. Название дворцу дано по титулу его владельца. Дворец строился с 1783 по 1789 годы. За дворцом разбит сад с прудами.
Проект дворца разработан архитектором И.Е. Старовым. Снаружи двухэтажное здание в классическом стиле выглядит весьма строго. Главный вход обрамляет портик из шести колонн, завершающийся треугольным фронтоном без украшений. Над ним на небольшом барабане построен плоский купол. Массивная каменная ограда построена архитектором Ф.И. Волковым.
После смерти А.Г. Потемкина дворец отдали в казну, в нем бывала Екатерина II. В XIX веке во дворце жили члены царской семьи, бывали гости. Так в 1826 году здесь скончался историк Н.М. Карамзин. С начала XX века в здании работала Государственная Дума, в советское время - органы власти и партшкола, сегодня - межпарламентская ассамблея стран СНГ.