El castell de Sant Carles és una fortalesa destinada a protegir el port natural de Portopí, lloc on arribaven la majoria de mercaderies que entraven a ciutat. Actualment allotja el Museu Històric Militar de Mallorca.

Al llarg dels anys aquest edifici ha patit una sèrie de reformes que il·lustren canvis estratègics i tecnològics en la defensa del port i els avenços en artilleria. La primera fortalesa de sant Carles va ser feta cap a l’any 1600, impulsada pel Col·legi de Mercaders i la Universitat, amb la intenció de protegir Portopí, font de comerç i riqueses per a la ciutat. Es tractava d’un període en què els avenços en artilleria havien deixat les antigues estructures defensives medievals obsoletes, i s’imposà un nou tipus de construcció més sòlida que la medieval i feta a base de bastions que no deixaven cap angle mort en la defensa. El resultat va ser un castell de planta quadrada amb quatre bastions als cantons.

El 1662, la primera construcció ja s’havia quedat obsoleta a causa del creixent volum de comerç i a què les tècniques d’artilleria s’havien sofisticat. Per ordre de Felip IV s’encarregaren unes reformes a l’enginyer militar Vicenç Mut que dotaren la fortalesa del perímetre trapezoidal amb els quatre grans bastions que encara ara podem observar. Aquesta reforma també va augmentar la mida de les terrasses i va dotar el castell de grans rampes per facilitar l’ús d’artilleria pesant. La construcció està feta de marès i encara ara s’hi poden trobar marques de picapedrer. Les últimes grans reformes van ser per afavorir el control de la zona marítima, incorporant una bateria baixa el 1762 i elevant el nombre de canons a la bateria de costa ja al segle XIX.

Durant el segle XX el castell va patir diversos canvis d’ús tot i conservar el seu caràcter militar. Va servir de presó, hospital, presó d’oficials i va incorporar nous canons durant la Guerra Civil. L’any 1991, el castell es va transformar en museu militar i des de 1997 el gestiona el Consorci del Castell de Sant Carles. Actualment a les sales del museu s’hi poden trobar diverses col·leccions d’objectes relacionats amb l’activitat militar com ara armes, banderes, uniformes i sales dedicades a personatges i moments rellevants per a la història militar de les Illes Balears.