Felipe II llegó a Trujillo el 13 de Marzo de 1583, a las cuatro de la tarde entraba su cuádriga en la Plaza Real, le esperaban el Obispo y la clerecía a la puerta de San Martín, rezó y le llevaron bajo palio al palacio que Luis de Chaves tenía junto a las Casas del Ayuntamiento;
le dieron un venado, un jabalí, cien conejos, cien perdices y seis fuentes de manteca, todo ello lo entregó a los monasterios de la ciudad; además se lidiaron seis toros y jugaron cañas. Al día siguiente partió Felipe II calle Sillería abajo y por haber albergado al Rey hubo en este palacio derecho de asilo. Al igual que otras de Trujillo fue Casa de Cadena.
Tiempo después Inés de Chaves, casada con el conde del Real, vende la casa al marqués de San Miguel que en 1713 amplía hasta la esquina haciendo la fachada barroca que hoy conocemos.