Сградата е изградена през 1873 г. като турски конак.
Веднага след Освобождението 1878 г. започва неговото преустройство, като разширенията на сградата целят създаването на представителен княжески дворец, изграден по най-добрите образци на европейската архитектура.

Сградата става резиденция на княз Батенберг през 1879 г. През 1880 – 1882 г. е преустроена по негова заповед от архитектите Майерберг, Румпелмайер и Колар. През 1893 – 1895 по план на австрийския арх. Фр. Грюнангер е разширен с Източното крило.

Сградата съдържа елементи на Ренесанс и Виенски барок. Интериорите са изключително богати на архитектурно-художествен синтез. Гипсовите декорации и орнаменти на двореца са дело на австрийския скулптор Андреас Грайс по образци от двореца Версай.

Парапетите и металните декорации са дело на виенската фирма "Валериан Гилар".

През 50-те години на 20-ти век сградата на двореца се ползва съвместно от Националната художествена галерия и Националния етнографски институт с музей при БАН. През 1978 г. сградата е обявена за паметник на културата от национално значение.