Entre los años 1573 y 1575, bajo la supervisión del gobernador Juan Álvarez de Fonseca, se erigió el Castillo de Santa Cruz, convirtiéndose rápidamente en el bastión principal del sistema defensivo de la ciudad contra las incursiones piratas.
Aunque el castillo fue demolido en 1929 con el objetivo de despejar la entrada a la ciudad, todavía hoy se pueden apreciar algunos de sus sillares a través de un acceso subterráneo ubicado en la Plaza de España.