Дальнейшая история Сергиевского-Плавска, примерно со 2-ой половины XVII века, неразрывно связана с князьями Гагариными. В «Энциклопедическом словаре» Ф. А. Брокгауза и И. А. Ефрона находим: «Гагарины, князья,—ведут свой род от князей Стародубских, родоначальником которых был Иван Всеволодович (ум. в 1239 году.—А. Ш.), младший сын Великого князя Владимирского Всеволода Большое Гнездо, получивший в удел городок Стародуб-Кляземский. Один из потомков, кн. Михаил Иванович Стародуб-Голибесовский (от Рюрика колено XVII) имел пять сыновей, из коих первый Василий, четвертый Юрий и пятый Иван имели общее прозвище Гагара. От них пошли три ветви князей Гагариных".
Анализируя имена и отчества последних из сергиевских Гагариных, можно предположить, что их предком был именно Василий.
Сказать с точностью, когда впервые появились в Сергиевском Гагарины, сейчас, увы, невозможно. Но известно, что земля близ Крапивенской слободы примерно в середине XVII в. была пожалована Гагариным—дедиловским воеводам—в вотчину как государственное вознаграждение(1)
С того времени много княжеских поколений прожило в Сергиевском. Время, к сожалению, почти полностью стерло имена многих из них. По сохранившимся старым картам и схемам села и его окрестностей можно сказать, что имена и отчества здешних Гагариных были связаны с Василием и Сергеем.
На упомянутом выше «Геометрическом специальном плане межевания 1-ой части села Сергиевского Чернского уезда Тульской губернии владения действительного тайного советника, разных орденов кавалера князя Сергея Васильевича Гагарина», составленном в 1778 году(рис 1.) , в северной части у изгиба Плавы на высоком холме левобережья можно видеть княжескую усадьбу, в правом нижнем углу которой—храм Сергия Радонежского Чудотворца.
К 1767 году старый деревянный храм на Крапивенском погосте пришел в полную негодность. Сенатским Указом от 3 мая 1767 года князьям Гагариным разрешается постройка нового храма близ усадьбы. В 1774 году каменный, холодный, с деревянным куполом храм во имя преподобного Сергия закладывается у входа в усадьбу со стороны торговой площади. В таком виде он просуществовал вплоть до 1860 года и, видимо, нынешние его стены уже не несут отпечатков XVIII столетия.
К северу от Крапивенки, торговой площади и усадьбы за рекой Плавой по обе стороны от Мценской дороги располагалась деревня Сергиевская, относившаяся, как ни странно, к Крапивенскому уезду. Выходит, что половина Сергиевского в XVIII веке была Чернская, половина—Крапивенская. Возможно, это описка на старом плане, а если и не описка, то к началу XIX века общую карту Тульской губернии скорректировали, и Сергиевское с округ лежащими землями полностью оказалось в Крапивенском уезде.
Итак, к концу XVIII столетия состоящее их двух частей—села и деревни—Сергиевское имело княжескую усадьбу площадью около 3 гектаров, каменный холодный храм, деревянные торговые ряды и торг, очень странный, похожий на останки крепости, объект на Боярином верху, водяную мельницу где-то в районе современного железнодорожного моста и старый погост с часовней у реки Плавы восточнее Елец-Крапивенского тракта, абрис последнего до сих пор хранят в Плавске улицы: Красная—Калинина—Свободы, далее к пешеходному мосту через Плаву.

(1) Понятия княжеская усадьба - приход - село образуют, как правило, на Руси очень тесную, почти неразрывную связку: последующее как бы вытекает из предыдущего. Где есть церковь и приход, значит рядом ищи богатую усадьбу и крупное село...

(рис 2.)
Реконструкция села Сергиевкое на кон. XVIII в. (авторы - архитекторы А.В.Шевчук, О.Н.Карандашова)
1 - Усадьба князей Гагариных.
2 - Предполагаемая крепость.
3 - Торг, деревянные торговые ряды и лавки.
4 - Храм Сергия Радонежского Чудотворца.
5 - Старый Погост в Крапивенской слободе.

(рис 3.)

Место старого моста-переправы через р. Плаву большой мценской дороги из Крапивенки в Замостовку