La Fortaleza on Puerto Ricon kuvernöörin virka-asunto San Juanin kaupungissa. Se rakennettiin 1500-luvulla linnoitukseksi, mutta siitä tuli jo 1600-luvulla kuvernöörin virka-asunto. Nykyisen palatsimaisen ulkoasunsa La Fortaleza sai 1800-luvulla tehdyissä muutostöissä.
Espanjan Puerto Ricon -kauden varhaisvaiheissa saarella ei ollut linnoituksia, mutta vuonna 1529 Espanja määräsi pysyvän linnoituksen rakentamisesta San Juaniin. Rakennustyöt päästiin aloittamaan vasta 1537 paikallisia vastaan käytyjen taistelujen takia.
La Fortaleza valmistui vuonna 1540, ja alkuperäiseen rakennelmaan kuului ympäränmuotoinen torni, jota suojasi neljä kivimuuria. Muurit olivat yli kaksi metriä paksut, ja niiden sisäpuolelle mahtui asumaan noin 200 ihmistä. Pian tämän jälkeen rakennettiin toinen linnoitus Castillo San Felipe del Morro stragisesti tärkeämpään paikkaan lahden suulle. La Fortalezen merkitys puolustuksessa oli siksi toissijainen ja toimi täsät eteenpäin armeijan päälliköiden ja myöhemmin kuvernöörin virka-asuntona.
George Cliffordin johtamat englantilaisjoukot valtasivat La Fortalezan 1598. He joutuivat jättämään samana vuonna San Juanin paikallisten asukkaiden vastarinnan takia.
Hollantilainen kapteeni ja kaappari Boudewijn Hendricksz valtasi 1625 San Juanin 1 500 miehen turvin. Espanjan kuvernööri Juan de Haro y Sanvítores perääntyi joukkoineen San Felipe del Morron linnoitukseen. Hendricksz ei pystynyt valtaamaan sitä ja joutui pakenemaan espanjalaisten saatua vahvistuksia. Hollantilaiset polttivat San Juania ennen pakenemistaan ja vaurioittivat myös La Fortalezaa. Jälleenrakennus aloitettiin 1640.
La Fortalezaa uudistettiin useita kertoja 1800-luvulla, ja vuonna 1822 siitä tehtiin virallisesti Puerto Ricon kuvernöörin virka-asunto. Siinä tehtävässä se oli epävirallisesti ollut jo 1600-luvulta saakka. Kuvernööri Rafael Arístegui y Vélez muutti siitä 1846 palatsimaisen. Arístegui y Vélez muutostöiden jälkeen linnoitus sai nykyisen ulkoasunsa.
