El Centro Cultural Baños Árabes. Palacio de Villardompardo descansa sobre el que fuera Palacio del Primer Conde de Villardompardo y Virrey del Perú, don Fernando de Torres y Portugal, un edificio renacentista del Siglo XVI, ubicado en el mismísimo corazón del casco antiguo de la ciudad de Jaén.

Durante el siglo XVII y hasta mitad del XVIII, el Palacio fue utilizado como Banco, prueba de ello son las dos inscripciones existentes en los muros del patio central.

A finales del siglo XVIII, el edificio fue adquirido por la Junta del Real Hospicio pasando éste a la Beneficencia Provincial e instalándose en el mismo, el Hospicio de Mujeres.

Desde principios del siglo XX, el edificio forma parte del patrimonio inmobiliario de la Diputación Provincial de Jaén, institución que entre 1901 y 1903 amplía el Hospicio, demoliendo a tal fin unas casas colindantes al Palacio. En 1970, y tras el traslado del Hospicio a un nuevo edificio, comienzan las obras de restauración de los Baños Árabes situados en los sótanos del Palacio así como la rehabilitación de todo el edificio, obras que finalizarían en 1984 y que fueron galardonadas ese mismo año con la Medalla de Honor de la Asociación Europa Nostra.