Der mittelalterliche Wehrturm ist auf Höhe des Wohnstocks mit den Symbolen der Abtei St.Gallen, der Grafen von Toggenburg und von Abt Diethelm Blarer von Wartensee geschmückt. Letzterer hatte 1545 dem Gebäude sein heutiges Aussehen verliehen. Bis 1789 wohnten die Obervögte des Fürstabtes auf dem Schloss und hielten dort Gericht.

Mit der Aufhebung der Klöster (1804) geriet das Schloss in Privatbesitz. Es diente der Reihe nach als Käserei, Stickerei, Steindruck-Werkstatt und Restaurant.

1924 erwarb die Genossenschaft Oberberg das Gebäude. Nach erfolgreicher Renovation brannten der Dachstuhl und die oberen Stockwerke ab. Mit einer grossen Sammelaktion wurde das seit 1927 dem eidgenössischen Denkmalschutz unterstellte Gebäude wieder aufgebaut und 1958 eingeweiht.
Schloss Oberberg historisch