Die ausgedehnte Anlage war bis 1513 im Besitz der Grafen von Tirol, danach kam das Schloss in Besitz der Grafen Khuen-Belasi, denen die heutige Ruine noch gehört. Der prächtige Freskenzyklus wurde größtenteils 1912 abgelöst un in das Museum Ferdinandeum in Innsbruck übertragen.