El mayorazgo de Luis de Chaves el Viejo lo sigue su hijo Francisco de Chaves Sotomayor casado con Juana Mexias Alvarado y se preparan el palacio con galerías lindero con la Plaza en la Cuesta de la Sangre. Francisco muere en la batalla de Málaga de 1487, sigue su hijo Juan de Chaves con su mujer Francisca Rivadeneira que tienen a Luis y Martín de Chaves. Luis de Chaves sigue el mayorazgo con Juana de Acuña y aunque muere joven deja tres hijos que sepamos: Juan de Chaves Sotomayor nacido en 1528 y casado con Isabel Cárdenas que era hija de Gutierre de Cárdenas y Leonor de Alvarado; Alonso de Sotomayor que muere en la guerra, y Ginebra Acuña que se casó con Rodrigo Arias Maldonado en Salamanca.
Juan de Chaves hizo una boda sonada pues era de los principales capitales trujillanos, dicen de él las Crónicas "que era culto e inteligente, lector de varias lenguas, liberal y dadivoso. Fue agraciado de rostro, gentil de cuerpo y desenvuelto a caballo y el armas. Criose en la casa de Bejar y vivió luego en Trujillo..." arreglando esta casa de cuya factura nos quedan las ventanas superiores y las columnas salomónicas, la puerta parece que se cambió posteriormente, los balcones son del siglo XIX. "Disponía de doce caballos, con sus doce escuderos, teniendo a su servicio una nutrida grey de lacayos, esclavos y azafatas". Luchó contra la enagenación y venta de los lugares trujillanos de 1558 y nada pudo conseguir. Le tocó una vez acompañar desde Trujillo a badajoz a las reinas de Hungría y Portugal, doña María y doña Leonor, hermanas del cesar Carlos V. Muere en 1596.
	Sigue la casa Sotomayor con su hijo Luis de Chaves Sotomayor casado con María Portocarrero que viven en el palacio junto al Ayuntamiento; en este palacio se hospedó Felipe II el 13 y 14 de Marzo de 1583, eran las cuatro de la tarde cuando entraba el Rey a caballo en la Plaza Real, le esperaban el Obispo y la clerecía a la puerta de San Martín, rezó y montando en su cuatargo le llevaron bajo palio al palacio de Luis de Chaves y María Portocarrero, junto a las Casas del Ayuntamiento; le dieron un venado, un jabalí, cien conejos, cien perdices y seis fuentes de manteca, todo ello lo entregó a los monasterios de la ciudad; además se lidiaron seis toros y jugaron cañas. Al día siguiente, que fue Domingo, partió calle Sillería abajo en dirección Herguijuela y por haber albergado al Rey la casa tuvo derecho de asilo. Fue esta la mansión que albergó en esta ocasión al Rey y no la conocida como de la Cadena que era de Nuño de Chaves el conquistador de Bolivia, también con cadena pero por la visita de Carlos I en 1526.
Sigue su hijo Juan de Chaves Sotomayor que vende en 1625 el solar de la iglesia de la Sangre. Juan de casó con su prima hermana Catalina de Orellana teniendo a Juan de Chaves Sotomayor que compró la villa de Ruanes con su anejo la Aldea del Pastor (Santa Ana de Trujillo después) el año 1626. De su matrimonio con Ana Isabel de Mendoza nacen Inés y Petronila de Chaves.
Inés de Chaves, casada con Jimeno Pérez Calatayud conde del Real, vende la casa al marqués de San Miguel que en 1713 la amplía haciendo la fachada barroca que hoy conocemos. En 1827 habitaba la casa Joaquina Fernández de Córdoba, condesa de Quintanilla y de Menado; viuda de su marido, el pobre Pepe Mendoza. La última Quintanilla que se caldeó en esta tardia y renacentista casa, consorte condesa ella, se llamaba Agustina de Orellana y Bravo. Después vendría otra consorte y espia que se fue a vivir al puro campo Pascual y nada tuvo que ver con este formidable edificio.