Село Захарово известно с XVII века. Двухэтажный деревянный господский дом был построен в 1781 году при владельце Иване Тинкове, капитане артиллерии. В 1804 году вдова артиллериста продала имение за 28 тысяч рублей «морской артиллерии 2 рангу капитанше» Марии Алексеевне Ганнибал, бабушке А. С. Пушкина. 
В 1811 году село было продано родственнице М. А. Ганнибал, Харитонии Ивановне Козловой; после её смерти селом владела А. А. Орлова и её родственники, затем, в начале ХХ века — А. М. Нечаев, после 1910 года — Е. Н. Голубкова, Н. И. Жемочкин, О. Н. Кустаревская, М. П. Щербакова.
Оригинальный дом, где бывал в детстве Пушкин, не сохранился. В начале XX века на его фундаменте был возведён новый деревянный особняк, повторявший формы своего предшественника. В советское время в нем располагалась школа, в 1990-е здание сгорело и было воссоздано к 200-летию рождения Пушкина в 1999 году. Сейчас в усадебном здании размещается музей детства великого поэта.
Достопримечательности территории — старовозрастная ель, пруд, сохранившийся с пушкинских времен.