Het paleis was in die tijd de plaats van bijeenkomst in Toledo van grote schrijvers en kunstenaars zoals Miguel de Cervantes, Góngora, Lope de Vega, Baltasar Gracián, Tirso de Molina en El Greco zelf. De tuin van het verblijf was één van de meest perfecte en best onderhouden tuinen van die tijd, waar herten en gazelles samenleefden met standbeelden van nymphen.
De Graaf van Romanones, één van de meest prominente politieke figuren van Spanje in zijn tijd, verwierf het eigendom in 1923 en verrichtte een ingrijpende restauratie van het complex. Bij verschillende gelegenheden in die tijd verbleef Koning Alfonso XIII daar, waar hij in dat gebied deelnam aan jachtpartijen. Aan het begin van de XXste eeuw werden de ruïnes van het paleis omgebouwd tot een luxe hotel.
Vanaf 2014 wordt het hotel beheerd door de Hotusa Groep en vormt onderdeel van de hotelketen Eurostars.