Historia Dworu w Ołtarzewie związana jest z wielopokoleniową rodziną Ryxów z sąsiedniego Pilaszkowa,
potomków francuskiego emigranta Ferdynanda Ryxa, któremu król Stanisław August Poniatowski za zasługi nadał tytuł starosty piaseczyńskiego oraz herb szlachecki “Pierścień”, a jego bratanek Franciszek Ryx, major Wojska Polskiego dosłużył się w czasie Insurekcji Kościuszkowskiej w 1794 roku Krzyża ,,Virtuti Militari”.
W połowie XIX wieku Bronisław Ryx, wnuk Franciszka osiedla się przy ,,trakcie poznańskim” w Ołtarzewie. W czasie Powstania Styczniowego 1863 roku majątek zostaje zniszczony i zarekwirowany przez władze carskie, a Bronisław Ryx za udział w powstaniu oraz Tymczasowym Rządzie Narodowym zmuszony jest do ponad 20-letniej emigracji. W 1906 roku jego syn Jerzy odkupuje od administracji rosyjskiej zniszczony dwór, częściowo go odbudowuje, zakłada park, przenosi tu hodowlę roślinną i zwierzęcą z Prażmowa. Majątek w Ołtarzewie rozkwita lecz na krótko bo w czasie I wojny światowej w 1915 roku zostaje ponownie zniszczony przez cofające się wojska rosyjskie. Tragedię dopełnia w 1919 roku śmierć jedynego syna Andrzeja, który zginął w obronie Lwowa jako ochotnik Legii Akademickiej, (do tej pory rośnie dąb przez niego zasadzony w parku). Kolejne lata to odbudowa posiadłości, którą córka Jerzego Ryxa, Krystyna wnosi w posagu do małżeństwa z Romanem Olędzkim, a okres międzywojenny to czas sukcesów ogrodniczych. Niestety wybuch II wojny światowej niweczy osiągnięcia Olędzkich.
W dniach 12 i 13 września 1939 roku w okolicach dworu toczą się krwawe walki żołnierzy Armii ,,Łódź”, ,,Poznań” i ,,Pomorze”, którzy po klęsce w największej bitwie kampanii wrześniowej ,,nad Bzurą” pod dowództwem generała Wiktora Thomne próbują przedostać się z pomocą walczącej Warszawie.
Po upadku Warszawy Państwo Olędzcy zostają poddani inwigilacji oraz zaborowi mienia przez niemieckie służby okupacyjne i pomimo tak trudnej sytuacji zorganizowali u siebie magazyn broni oraz bazę dla oddziałów Armii Krajowej, a Siostry Urszulanki prowadziły tajne nauczanie.
Nieszczęście i tragedie rodzinne nie omijały tej bardzo patriotycznej rodziny. Za udział w Narodowej Organizacji Wojskowej w dniu 15 sierpnia 1940 roku jedyny syn Olędzkich, Andrzej zostaje aresztowany i ginie w Oświęcimiu. Za działalność konspiracyjną w 1944 roku Roman Olędzki z córkami Aleksandrą i Izabellą zostają aresztowani i osadzenii w obozie w Pruszkowie.
Po wyzwoleniu rodzina Olędzkich zostaje poddana kolejnym represjom, tym razem przez ,,władzę ludową”, a wzorcowe gospodarstwo już nigdy nie podniosło się z upadku.
W 2006 roku zdewastowany Dwór nabyli obecni właściciele, którzy go odbudowali i przywrócili do stanu pierwotnego z zachowaniem zniszczonych przez kule we wrześniu 1939 roku fragmentów ścian południowej i wschodniej.
Dwór Ołtarzewski był zawsze pełen tradycji rodzinnych, religijnych i patriotycznych zwanym przez okolicznych mieszkańców ,,bastionem polskości”.