Отныне Кельсиев сотрудничал в славянфильских и консервативных изданиях: «Заря», «Всемирный труд», «Русский вестник», «Нива». В 1868 году он издал свои мемуары «Пережитое и передуманное» (СПб., 1868), которые являлись сокращённым для легальной печати вариантом его «Исповеди». В этой книге, а также в очерках «Из рассказов об эмигрантах», «Эмигрант Абихт» (1869) Кельсиев обратился к изображению жизни политической эмиграции. Русская демократическая печать отнеслась к этим публикациям Кельсиева резко отрицательно — рецензии в «Вестнике Европы», № 7, «Отечественных записках», № 12, «Неделе», несмотря на то, что эти работы имели много ценной и правдивой информации из первых рук, а сам Василий Иванович взвешенно, беспристрастно, но при этом весьма деликатно оценивал деятельность политических эмигрантов.

По мнению современных представителей консервативной мысли, эти работы Василия Ивановича являются его главным жизненным итогом. Советская идеологическая схема, расценивая заключительную деятельность Кельсиева как ренегатскую и реакционную, оговаривала ценность мемуаров Кельсиева осведомлённостью их автора, обеднённую его тенденциозностью и поверхностным пониманием деятельности Герцена, в котором Кельсиев видел не революционера, а лишь обычного реформатора волею судеб ставшего агитатором. Однако, эта схема уточнялась тем дополнением, что, в силу деликатности и осторожности Кельсиева, он мог нарочито приглушить роль Герцена и могущество его влияния на революционные умонастроения молодого поколения шестидесятников, чтобы рассеять необоснованно суровое отношение правительства Александра II к лондонскому изгнаннику.

Также в 1868 году Кельсиев выпустил книгу «Галичина и Молдавия», она представляла собой путевые очерки 1866 — 1867 гг. из газеты «Голос» вместе с авторскими рассуждениями о панславизме: «Вся цель и идеал славянства состоит в том, чтобы слиться во что бы то ни стало воедино; слиться в один народ, возыметь один язык, одну азбуку». Задача общеславянского союза, по Кельсиеву, была первоочередной политической целью. В этой же книге Кельсиев рассматривал и другие аспекты желательной ему национальной политики славянских народов, в частности, взаимоотношения евреев и славян. По утверждению «Большой энциклопедии русского народа», эта книга пользовалась широким успехом. Также лестную оценку очерков Кельсиева дала супруга А. И. Герцена, Н. А. Тучкова-Огарёва, однако, по мнению «Нового энциклопедического словаря Брокгауза и Ефрона», книга встретила в литературных кругах холодный приём.

В 1870 году Кельсиев опубликовал в новом журнале «Нива» и журнале «Семейные вечера» несколько очерков на исторические темы («Александр Невский и Дмитрий Донской», «Первый русский царь Иван III Васильевич», «Просветители славян святые Кирилл и Мефодий»). В поисках заработка Василий Иванович начинает писать популярные исторические романы «Москва и Тверь» (1872), «На все руки мастер» (1871), «При Петре» (1872), имевшие, по мнению «Русского биографического словаря», некоторые литературные достоинства. В советское время его литературные произведения были забыты, публицистические работы также не переиздавались, зато впервые в «Литературном наследстве» увидела свет его «Исповедь» и переписка с Герценом и Огарёвым, время от времени появлялись в печати отрывки из его мемуаров, касающиеся жизни Герцена. В постсоветское время исторические романы Кельсиева начали переиздаваться.