Село Ершово впервые упоминается в XV веке в договорной грамоте Василия Темного. Долгое время имением владели Салтыковы. В 1764 году Ершово в качестве приданого Марии Васильевны Салтыковой, вышедшей за статс-секретаря Екатерины II А.В. Олсуфьева, перешло к другому роду. Расцвет начался в середине 1820-х годов, при камергере В.Д. Олсуфьеве, звенигородском уездном предводителе дворянства. Силами московского архитектора Афанасия Григорьева, ученика самого Жилярди, началось строительство каменных зданий.
Ампирная Троицкая церковь не дошла до наших дней, она была взорвана в 1941 году вместе с сотней мирных жителей и военнопленных. Уже в наши дни ее восстановили с ноля. Главный усадебный дом в стиле позднего ампира также восстанавливали по крупицам. Во времена оны его украшали подъезд с гербом Олсуфьевых и богатая колонная лоджия. В 14 комнатах и 4 больших залах размещались коллекции книг, оружия, картин и роскошная мебель. При последнем из Олсуфьевых, на стыке веков, здесь бывал Афанасий Фет.
После 1917 года в Ершове был устроен приют для беспризорников, дом престарелых. С 1920 по 1928 годы тут располагался музей помещичьего быта, затем — дом отдыха железнодорожников. С послевоенных лет тут отдыхали советские ядерщики. Фактически это единственный пансионат в Московской области, прошедший Отечественную войну 1812 года и Великую Отечественную войну 1941 — 1945 годов.
Сейчас вход на территорию усадьбы свободный. Усадебный дом, пейзажный парк с исторической планировкой липовых аллей и пруды с островками и кованными мостами могут посетить все желающие. Внутренняя планировка главного дома не сохранилась, однако на первом этаже можно увидеть небольшую экспозицию, посвященную графам Олсуфьевым.