El castillo de San Carlos es una fortaleza destinada a proteger el puerto natural de Portopí, lugar donde llegaban la mayoría de mercancías que entraban en ciudad. Actualmente aloja el Museo Histórico Militar de Mallorca.

A lo largo de los años este edificio ha sufrido una serie de reformas que ilustran cambios estratégicos y tecnológicos en la defensa del puerto y los avances en artillería. La primera fortaleza de San Carlos fue levantada hacia el año 1600, impulsada por el Colegio de Mercaderes y la Universidad, con la intención de proteger Portopí, fuente de comercio y riquezas para la ciudad. Se trataba de un período en que los avances en artillería habían dejado las antiguas estructuras defensivas medievales obsoletas, y se impuso un nuevo tipo de construcción más sólida que la medieval y hecha a base de baluartes que no dejaban ningún ángulo muerto en la defensa . El resultado fue un castillo de planta cuadrada con cuatro balurartes en las esquinas.

En 1662, la primera construcción ya se había quedado obsoleta debido al creciente volumen de comercio y a que las técnicas de artillería se habían sofisticado. Por orden de Felipe IV se encargaron unas reformas al ingeniero militar Vicenç Mut que dotaron a la fortaleza del perímetro trapezoidal con los cuatro grandes baluartes que aún podemos observar. Esta reforma también aumentó el tamaño de las terrazas y dotó el castillo de grandes rampas para facilitar el uso de artillería pesada. La construcción está hecha de piedra de marès y todavía se pueden encontrar marcas de canterería. Las últimas grandes reformas fueron para favorecer el control de la zona marítima, incorporando una batería baja en 1762 y elevando el número de cañones en la batería de costa ya en el siglo XIX.

Durante el siglo XX el castillo sufrió varios cambios de uso a pesar de conservar su carácter militar. Sirvió de prisión, hospital, cárcel de oficiales e incorporó nuevos cañones durante la Guerra Civil. En 1991, el castillo se transformó en museo militar y desde 1997 lo gestiona el Consorcio del Castillo de San Carlos. Actualmente, en las salas del museo se pueden encontrar varias colecciones de objetos relacionados con la actividad militar como armas, banderas, uniformes y salas dedicadas a personajes y momentos relevantes para la historia militar de las Islas Baleares.