Во времена римской империи на месте Дворца Мадама находились ворота крепостной стены поселения Августа Тауринорум (будущий Турин). Эти ворота пережили падение западно-римской империи и примерно с VIII века вместе со стеной использовались как часть укреплений города. В начале XIV века это место стало владением Савойского дома (Savoia-Acaja) и хозяева превратили стену в свой замок.
В XV веке при Ludovico of Acaja замок был достроен, дополнительные стены образовали квадратный внутренний двор, по углам были пристроены цилиндрические башни. В таком виде, напоминающем о средневековье, дворец предстанет перед нами сейчас, если подойти к нему с юго-востока. После того, как род Acaja прервался, замок использовался как гостевой дом Савойских.
Обретением своего второго фасада дворец обязан двум знатным женщинам, проживавшим в нем. Современное название \"Палаццо Мадама\" (\"Дворец дам\") напоминает об этих временах. В 1637 году замок в качестве своей резиденции выбрала регент герцога Карла Эммануила II (Charles Emmanuel II), Кристина Мария Французская (Christine Marie of France). По ее указанию над квадратным двором сделали крышу, перестроили и украсили внутренние комнаты.
Шестьюдесятью годами позже (около 1679 года) вторая дама - Мария Джованна Савойская (Maria Giovanna Battista di Savoia), также бывшая регентом герцога Виктора-Амадея II, собиралась радикально изменить замок. Она попросила итальянского архитектора Филиппо Джуварра (Filippo Juvara) построить для нее барочный дворец из белого камня. Однако работы были прекращены в 1721 году - к этому моменту был завершен только северо-западный фасад.
После монархов здание палаццо занимали разные государственные службы, парламент и суд. С 1934 года во дворце находится музей древнего искусства, в котором собраны итальянские находки в Гандахаре (Афганистан), а также картины средневековых мастеров. Само здание, по воле случая получившее два абсолютно разных фасада, интересно с исторической точки зрения и наглядно демонстрирует связь двух разных культур - Средневековья и Возрождения.