Ursprünglich war Raixa ein islamisches Landgut, von dem nur noch der Ortsname übrig geblieben ist. Nach der Eroberung von Mallorca im Jahre 1229 durch König Jakob I. von Aragon gingen die Ländereien an den Grafen von Ampurias über. Im Mittelalter gehörte das Land den Familien Sureda de Sant Martí und Safortesa-Tagamanent, wobei letztere zu Beginn des sechzehnten Jahrhunderts eine Rekonstruktion durchführen ließen.
Aus dieser Zeit stammen noch die gotischen Kreuzgewölben und die Eingangsbögen des zentralen Stein-Innenhofes. Erwähnenswert ist eine weitere Episode aus dem Jahr 1522, wo es zu einem Angriff und zur Brandlegung des Gebäudes durch die Anhänger der sozialen Kämpfe “las Germanías” kam, da der damalige Eigentümer, Herr Pere-Joan Safortesa i Descatlar, Anhänger der königlichen Sache war. Während der letzten Sanierung wurden Hinweise jenes Brandes an einem gotischen Fenster des Hauptsaales entdeckt.
Der erste Graf von Montenegro, Ramon Despuig i Rocabertí, erwarb Raixa am 18. Juni 1660, und machte es zum Aushängeschild der Familie. Im achtzehnten Jahrhundert wurden die Gebäude von den nachfolgenden Grafen reformiert und erweitert, wie es in der Barockzeit üblich war. Schon damals gab es Lustgärten namens "les Llimoneres", "la Gruta" und "Hort Nou", die im Jahre 1740 dokumentiert wurden.
Die Protagonisten der letzten Transformation waren die Brüder Joan und Antoni Despuig i Dameto. Ersterer (Palma, 1735-1813) war der vierte Graf von Montenegro und siebter von Montoro. Der zweite Bruder, Antoni (Palma, 1745-Lucca, 1813), folgte einer ehrgeizigen kirchlichen Karriere, die in der Ernennung zum Kardinal durch Papst Pius VII gipfelte.
