Inmitten des Dorfes, von einer Mauer und vier wehrhaften Ecktürmen aus dem Spätmittelalter umschlossen, steht das schlichte Schloss der Schenken von Stauffenberg.

HISTORIE  Im 15. Jahrhundert erbauten die edelfreien Herren von Tier­berg, Nachfolger oder möglicherweise auch Nachfahren der Herren von Luttelingen, ein Schloss in der Ortsmitte. Ein Teil der Bau­substanz ist bis heute vermut­lich im Original erhalten.

Ab 1550 befand sich der Ort im Besitz der Herren von Wester­stetten und Drackenstein, welche die Ortsherrschaft durch Heirat geerbt hatten. Als ihr Geschlecht im Mannesstamm erlosch, ging die kleine Ritterschaft im Jahre 1625 an die Schenken von Stauffenberg. Zu dieser Zeit erfolgte der Ausbau des Schlosses mit Mauern, Wallgraben und vier Ecktürmen zum kom­fortableren Wohn­sitz.

In einer Beschreibung von 1807 bezeichnete man den Bau als “alt” und “unbewohnt” und brach ihn 1842 schließlich ab.

1842-1846 ließ Franz Ludwig Schenk von Stauffenberg den dreigeschossigen Hauptbau mit seinem Walmdach anstelle des ursprünglichen Fachwerkbaus, wenige Schritte von der Katholische Pfarrkirche St. Johannes Baptista entfernt, neu errichten. 1874 wurden die Schenken von Stauffenberg in den Grafen­stand erhoben.

Einen großen Teil ihrer Kindheit und Jugend verbrachten die Stauffenberg-Brüder im Schloss Lautlingen, das ihre Eltern seit 1918 als ständigen Wohnsitz nutzten.

1970 erwarb die damals noch selbständige Gemeinde Laut­lingen von der Familie Stauffenberg das Schloss-Ensemble, das sich heute im Eigentum der Stadt Albstadt befindet.

2005-2006 wurden die Räumlichkeiten einer umfassenden Renovierung unterzogen und auch die Gartenanlage mit Forsthaus, Scheuer und Gesindehaus modernisiert.