Původně tu stál hrad, který chránil zemskou hranici na kupecké stezce vedoucí z Baltu na Jadran. Potvrzují to gotické zdi, jimiž je zámek částečně obehnán. Do poloviny 13. století náležel hrad českému králi, v roce 1249 připadl na více než tři století rodu Lichtensteinů a v letech 1575 – 1945 byl v majetku a péči moravské větve korutanských Dietrichsteinů. V jejich rodokmenu na sebe nejvíc upozornil v Madridu narozený kníže František z Dietrichsteina (1570 – 1636), kardinál a olomoucký biskup, který po bitvě na Bílé hoře povýšil na moravského gubernátora. To on pozvedl provinční Mikulov na dočasně nejvýznamnější město Moravy a přizváním italských architeků určil jeho rezidenční charakter, podtržený splynutím staveb se spanilou přírodní scenérií jižních svahů Pálavských vrchů.