Усадебный комплекс в Полибино начал формироваться с конца XVIII в., когда в 1784 г. сельцо Сторожево (Полибино тож) Данковского уезда Рязанского наместничества было выкуплено во владение Нечаевыми и стало благоустраиваться представителями трех поколений этого дворянского рода.

Первым устроителем усадьбы стал предводитель дворянства Данковского уезда, надворный советник Дмитрий Степанович Нечаев (1742−1820). При нем к концу 1790-х гг. был выстроен каменный дом, композиция которого складывалась из основного двухэтажного объема и двух отдельно стоящих флигелей, а также был разбит регулярный парк.

Степан Дмитриевич Нечаев (1792−1860) унаследовал усадебный комплекс в Сторожево в 1820 г. Он был чиновником для особых поручений в канцелярии московского военного генерал-губернатора, а в 1828 г. был принят на службу в Святейший правительствующий синод. С 1833 по 1836 г. С. Д. Нечаев состоял в должности обер-прокурора Синода, а затем был пожалован в тайные советники и назначен сенатором. Выйдя в отставку в 1857 г., Степан Дмитриевич поселился в своей усадьбе в Сторожево. В дальнейшем он стал известен как поэт и писатель. Благодаря своим владениям в Епифанском уезде, С. Д. Нечаев стал первым историком Куликовской битвы, опубликовал ряд статей по этой теме, продвигал идею установки памятника Дмитрию Донскому на Красном холме и занимался сбором средств на строительство храма рядом с памятником. В Сторожево Степан Дмитриевич устроил первый музей Куликова поля.

В 1860 г. усадьба перешла в совместное владение Дмитрия, Анны, Софьи и Юрия Нечаевых. Последний унаследовал вместе со второй частью фамилии огромный промышленный капитал своего дяди Ивана Сергеевича Мальцова. Юрий Степанович Нечаев-Мальцов был известен как промышленник и меценат, благодаря щедрому участию которого было построено здание Музея изящных искусств имени Александра III (ныне Музей изобразительных искусств имени А. С. Пушкина в Москве), несколько храмов и другие объекты.

При Юрии Степановиче в 1890-х гг. в усадьбе были надстроены вторые этажи над флигелями, пристроены к ним со стороны парадного двора отдельные помещения с лестницами, возведены двухэтажные галереи, соединявшие главный дом с флигелями. Перестройкой главного дома усадьбы занимался Александр Никанорович Померанцев — выдающийся архитектор, автор проекта Верхних торговых рядов в Москве (ныне ГУМ). В это же время в усадьбе были возведены хозяйственные постройки и проведен водопровод.

За левым флигелем главного дома находится водонапорная башня гиперболоидной конструкции. Спроектированная инженером Владимиром Григорьевичем Шуховым и произведенная на предприятии А. В. Бари башня экспонировалась на промышленной выставке 1896 года в Нижнем Новгороде, где и была приобретена Ю. С. Нечаевым-Мальцовым. Высота башни со шпилем составляет 45 метров. Резервуар усеченно-биконической формы опирается на ажурную конструкцию из сортового проката и вмещает 10 тысяч ведер воды. Башня служила для водоснабжения усадьбы и орошения сада и огорода вплоть до 1919 г.

В 1913 г., после смерти бездетного Ю. С. Нечаева-Мальцова, усадьба перешла по наследству Елиму (Элиму) Павловичу Демидову, князю Сан-Донато, который постоянно проживал за границей.

После 1917 года усадьба была национализирована, а ее имущество разграблено или вывезено в музеи. В советские годы в ней размещались правление совхоза и квартиры его тружеников, клуб и другие организации. При этом глобальные ремонтные работы никогда не производились, здания ветшали и постепенно разрушались. С 2000-х гг. дом и флигели не эксплуатировались, что привело их в еще больший упадок.

Восстановление усадьбы имеет огромное значение, так как ее архитектурный ансамбль вместе с садами и парком является жемчужиной Липецкой области.