…idźcie sobie na żółciaki do parafialnego parku, pocznijcie sobie pod sędziwą lipą, siądźcie na ławeczce i popatrzcież: hen, po drugiej stronie ulicy, macie park większy jeszcze, park prawdziwie parkowy, a pośrodku dwór, dwór najprawdziwszy, całkiem żółty i fajny, w którym pełno dzieciaków, koni i włochatych psisk.
W pobliżu kościoła pw. Podwyższenia Krzyża Świętego w Zbylitowskiej Górze stoi klasycystyczny dwór Żabów. Obecne założenie dworskie powstało w pierwszej połowie XIX wieku dla Celiny ze Stadnickich Moszczeńskiej oraz jej męża Franciszka Moszczeńskiego. Wcześniejszy dwór spłonął w wyniku pożaru i brak jakichkolwiek informacji o jego wyglądzie. W 1863 roku, po śmierci Franciszka, majątek w Zbylitowskiej Górze odziedziczyła córka Maria, która wyszła za mąż za Stanisława Żabę herbu Kościesza. Ostatnim właścicielem majątku w Zbylitowskiej Górze był wnuk Stanisława – inż. Franciszek Feliks Żaba.
Według przekazów rodzinnych Żabów projektantem dworu był Piotr Aigner, architekt związany z rodziną Czartoryskich. Zespół dworski składał się z dworu, oranżerii pełniącej funkcję oficyny, wolno stojącej kuchni, stajni i wozowni. Fasada dworu zwrócona jest w stronę parku i widnieją w niej herby Nałęcz-Moszczeńskich i Szreniawy należące do Stadnickich.
Obecne wnętrze dworu nosi ślady pierwotnego układu. W okresie międzywojennym budynek składał się z 12 pomieszczeń: dwóch jadalni, kredensu, garderoby, czterech sypialni, dwóch gabinetów, pokoju bilardowego oraz pokoju gościnnego. Ozdobą całości były wiedeński serwis na 60 osób oraz biblioteka licząca pięć tysięcy książek. Do dziś zachowały się na ścianach i sufitach część stiuków, a na podłodze fragmenty parkietów oraz stolarka drzwiowa.
W 1945 roku, w wyniku nacjonalizacji majątków ziemskich, założenie dworskie wraz z pobliskim folwarkiem zostało rozparcelowane. Franciszek Feliks Żaba wraz z rodziną na krótko przeniósł się do służbowej willi przy gospodarstwie rolnym Państwowych Zakładów Azotowych w Tarnowie-Mościcach, którego Franciszek był kierownikiem, a następnie do Krakowa. Część wyposażenia dworu udało się Żabom wywieść podczas wysiedlenia, a część trafiła m.in. do tarnowskich instytucji kultury.
Po przejęciu majątku przez skarb państwa zabudowania dworskie zostały przeznaczone na cele szkolno-administracyjne. Od 1999 roku na terenie założenia działał powiatowy Specjalny Ośrodek Szkolno-Wychowawczy. Obecnie, po odzyskaniu majątku przez spadkobierców rodziny Żabów i sprzedaży go prywatnym właścicielom, powstaje w nim Specjalny Ośrodek Szkolno-Wychowawczy Dwór w Zbylitowskiej Górze.