L’actual seu del Col·legi d’Arquitectes és l’antic casal senyorial conegut com a Cal Marquès de la Torre. Es tracta d’un casal de planta irregular que s’adapta al traçat de les murades medievals, construït en pedra de marès.

L’edifici, que combina una obra d’enginyeria amb la tradició local i els elements barrocs, va ser projectat el 1696 per l’enginyer navarrès Martín de Gaínza y Etxagüe sota la direcció de Francesc Trullol i Font de Roqueta, sobre un antic casal del segle XV, propietat de la família Olesa.

La casa palau es caracteritza pel seu estil barroc. Es tracta d’un edifici auster i robust amb solucions tècniques d’obra d’enginyeria que li donen un aspecte de fortalesa. Una peculiaritat de l’edifici és que el pati no ocupa un lloc central, sinó exterior, que actua a manera de vestíbul. A més a més, es troba protegit per dos grans murs amb merlets que formaven part de les murades medievals. En aquest vestíbul exterior s’aixeca una escala el·líptica del segle XIX, que condueix a la planta noble. Destaquen també els balcons d’aquesta planta amb baranes de ferro forjat realitzades l’any 1738, que miren sobre la badia de Palma.

Durant la dècada de 1980 s’hi efectuaren importants obres d’adaptació per tal que l’edifici pogués albergar l’actual seu del Col·legi d’Arquitectes. Entre les reformes interiors destaquen els treballs d’Eugenio de la Fuente i Pere Rebassa als porxos, on projectaren una planta diàfana compartimentada amb elements de fusta i portes corredisses.