Heute dominieren die spätbarocken Residenzflügel des Schlosses die weitläufige Anlage auf dem Felsen über der Stadt – das Museum hier beherbergt Schätze aus 500 Jahren Spielkartenherstellung. Altenburg ist die Heimat des Skatspiels, in dem Adlige bekanntlich eine wichtige Rolle spielen. Das war auch in der Residenz selbst so; die herausragende Lage haben viele Herrscher zu nutzen gewusst. Zu den ältesten Zeugnissen zählt ein tausendjähriger Wohnturm im romanischen Stil – seiner Form wegen „Flasche“ genannt. Im alles überragenden Hausmannsturm ist der einstige Bergfried zu erkennen. Unter Friedrich I. Barbarossa stieg die Anlage im 12. Jahrhundert sogar zur Kaiserpfalz auf. Eng sind Schloss und Burg zudem mit der Geschichte des sächsischen Herrscherhauses der Wettiner verbunden.