Das Immenfeld liegt umgeben von Wiesen und Obstbäumen ausserhalb des Dorfes Schwyz. Es ist der Herrensitz, der am weitesten vom Dorfkern Schwyz entfernt ist. Neben dem Torbogen steht links die Antonius Kapelle.
Das Immenfeld war der Stammsitz der Betschart „von Immenfeld und Tschaybrunn“. Bereits am korbbogigen Hauptportal mit seinem aufgesetzten Dächlein werden wir daran erinnert. Neben der Jahrzahl 1676 trägt es die Inschrift: „Porta patens esto, nulli claudaris honesto““ (Die Türe soll offen und keinem Ehrenmann verschlossen sein) mit dem Wappen Betschart-Reding. Durch das Hauptportal betreten wir den Innenhof und stehen gleich vor dem schön gegliederten Hauseingang. Zwei toskanische Säulen stützen das Vorzeichen, das nach drei Seiten über Treppen den Steg in den Innenhof freigibt. Das Vorzeichen reicht über das erste Stockwerk hinaus. Das angesetzte Klebedach führt zum Erker, der mit seinen Fenstern auf der Höhe des zweiten Stockes liegt. Der Erker ist ein halbes Achteck mit Kuppeldach und Pannerherr aus dem Jahre 1708. Damals war Johann Dominik Betschart Pannerherr geworden, und ihm sind die wichtigsten Hausumbauten, die Kapelle und die Hofmauern, zuzuschreiben. Auch am Portal des Hauseinganges finden wir das Wappen der Betschart.
Im Verlaufe der Zeit erfuhr auch das Immenfeld eine Reihe von Umbauten und Renovationen. Die erste Bauzeit fällt ins letzte Viertel des 16. Jahrhundert. Das Gebäude war damals ein typischer Riegelbau. Ab 1671 erfolgte eine Reihe von wichtigen Anbauten, so der Erkeranbau, die Dachgiebel und die Hofmauer mit dem Hofeingang. 1687 wurde die Antonius Kapelle errichtet. 1908-1912 ist das ganze Gebäude einer glücklichen Renovation durch Architekt Peter Siegwart unterzogen worden. Als besondere Kostbarkeit der Innenräume muss der Prunkraum „Schwyzerstube“ aus dem Jahre 1637 mit seinem Täferzimmer, dem eingebauten Buffet und den Intarsien an den Wänden erwähnt werden.
Die Kapelle, dem hl. Antonius von Padua geweiht, wurde 1687 vom Obristenwachtmeister, dem späteren Pannerherrn und Landammann Johann Dominik Betschart (1645-1736) erbaut. Sie verdankt ihre Entstehung einer eigenartigen Geschichte. Kommissar Fassbind erzählt sie im 4. Band seiner Kirchengeschichte: „Die St. Antoniuskapelle im Immenfeld ist 1687 von Herrn Oberstwachtmeister, Landammann und Pannerherr Dom. Betschart ex voto (wegen eines Gelübdes) wegen einer ausserordentlichen Gnad, die er durch ihn von Gott erhalten, erbaut dotiert. Es war nämlich seine Frau zu Fidris im Bad auf eine ganz unkatholische Art ohne Empfang der hl. Sakramente aus Mangel eines Priesters dahingestorben, worüber der Herr fast untröstlich voll Vertrauen zu St. Anton sich gewandt mit dem Versprechen, eine Kapelle zu erbauen, wenn sie wieder das Leben erhalten und mit den hl. Sakramenten versehen werden möchte. Der fromme Herr ward erhört, nach drei Tagen kam sie wieder zum Leben, eben da der Priester, den der Mann gereicht hatte, anlangt. Der hörte die Beichte und kommunizierte sie, worauf sie selig verschieden.“ Diese Geschichte ist auf dem Votivbild in der Kapelle mit Versen beschrieben. Sie wurde aber nicht gleich nach dem Tod der Frau gebaut, sondern erst sechs Jahre später, 1687. Nach einer zweiten Geschichte soll ihr Erbauer durch den Fund eines Kelches in seiner Wiese an sein Versprechen erinnert worden sein. Zwei toskanische Säulen stützen das Dach des Vorzeichens, an der Stirnseite sind die Wundertaten des hl. Antonius von Padua als Fresko gemalt. Der Raumcharakter des Innern gemahnt einen eher an die Spätgotik als an den Barock.
1947 erwarb Joachim Weber die Liegenschaft und seit 2016 ist sie im Besitz seines Grosskindes Thomas Weber. Dieser führte 2017-2020 eine umfassende Gesamtrestauration durch und öffnete das Haus für Veranstaltungen.