Tras la toma en 1485 de Cártama por los Reyes Católicos, se inicia un rápido proceso de abandono de la fortaleza y asiento de la población fuera de las murallas. Este proceso se puede ver en el dibujo que realizara en 1564 el pintor holandés Joris Hoefnagel. El núcleo urbano se desarrolla en torno a las plazas del Pilar Alto y de la Constitución. Con ello se creó entre los siglos xvii y xviii un peculiar caserío de estilo barroco andaluz, del que hoy en día aún quedan algunas huellas, constituyendo la fachada de la casa de los Andrade su mejor exponente.
