Die für seine Verhältnisse eher kleine und recht bescheidene Unterkunft in ehemaligen Augustiner Chorherrenstift nutzte König Ludwig II. als Wohnsitz, um die Bauarbeiten an seinem Schloss zu begutachten. Sie kann bis heute besichtigt werden. 
Mit seiner Vision des neuen Schlosses Herrenchiemsee wollte König Ludwig II. den von ihm sehr geschätzten französischen Sonnenkönig Ludwig XIV. ehren und ihm mit einer bayerischen Version von Schloss Versailles huldigen. Damit manifestierte er auch den eigenen Mythos, den er selbst schon früh mit den Worten umschrieb: „Ein ewig Rätsel will ich bleiben mir und anderen" – was ihm gut gelungen ist. Das Schloss sollte ihm als Zufluchtsort weg vom königlichen Alltag hin zur Einkehr in seine Traumwelten dienen; der Öffentlichkeit wollte er dabei keinen Einblick gewähren. So wird überliefert, dass er andachte, seinen kostbarsten Raum – das Paradeschlafzimmer, mit dem er seinem Idol Ludwig XIV. ein Denkmal setzte – nach seinem Ableben zerstören zu lassen, damit ihn nie jemand zu Gesicht bekäme. Der Wunsch sollte ihm verwehrt bleiben, vielmehr entwickelte sich sein „Traumreich", seit es 1886 der Öffentlichkeit zugänglich gemacht wurde, zu einem wahren Publikumsmagneten, der Interessierte aus aller Welt anlockt. Der Besucherstrom reißt bis heute nicht ab – die Bayerische Schlösserverwaltung spricht von mehr als 50 Millionen Besucher seither.