La actual sede del Colegio de Arquitectos es la antigua casa señorial conocida como Cal Marqués de la Torre. Se trata de un casal de planta irregular que se adapta al trazado de las murallas medievales, construido en piedra de marés.

El edificio, que combina una obra de ingeniería con la tradición local y los elementos barrocos, fue proyectado en 1696 por el ingeniero navarro Martín Gil de Gaínza y Etxagüe bajo la dirección de Francisco Trullol y Fuente de Roqueta, sobre un antiguo casal del siglo XV, propiedad de la familia Olesa.

La casa palacio se caracteriza por su estilo barroco. Se trata de un edificio austero y robusto con soluciones técnicas de obra de ingeniería que le dan un aspecto de fortaleza. Una peculiaridad del edificio es que el patio no ocupa un lugar central, sino exterior, que actúa a modo de vestíbulo. Además, se encuentra protegido por dos grandes muros con almenas que formaban parte de las murallas medievales. En este vestíbulo exterior se levanta una escalera elíptica del siglo XIX, que conduce a la planta noble. Destacan también los balcones de esta planta con barandillas de hierro forjado realizadas en 1738, que miran a la bahía de Palma.

Durante la década de 1980 se efectuaron importantes obras de adaptación para que el edificio pudiera albergar la actual sede del Colegio de Arquitectos. Entre las reformas interiores destacan los trabajos de Eugenio de la Fuente y Pedro Rebassa en los porches, donde proyectaron una planta diáfana compartimentada con elementos de madera y puertas correderas.