Состоял действительным членом Виленской археологической комиссии (1855—1865) со дня основания. Выступал с докладами и сообщениями на её заседаниях.

С апреля 1864 года до марта 1865 года был председателем Виленской комиссии для разбора и издания древних актов (Виленская археографическая комиссия). В 1865 году окончательно вышел в отставку в чине действительного статского советника.

Последние годы жизни безвозмездно преподавал историю в женском училище при Мариинском монастыре. Был ревностным прихожанином виленских православных храмов.

Похоронен на православном Евфросиниевском кладбище в Вильне.

Литературная деятельность

Помимо перевода «Сокращённой всеобщей истории» Луи Филиппа де Сегюра (1818—1820), Кукольник перевёл проповеди французского протестантского теолога Эжена Берсье (перевод не издан).

Публицистика и мемуары

Своего рода публицистику представляют назидательная памятка «В знак памяти друзьям и знакомым, удостоившим меня посещения в день окончания пятидесяти лет со времени поступления мною на поприще государственной службы» (1862) и брошюра «Голос христианина по прочтении книги г. Ренана „La vie de Jesus“» (1864).

Опубликованные в «Русском архиве» полемически окрашенные мемуары «Анти-Ципринус. Воспоминание о Н. Н. Новосильцеве», (1873) и «Анти-Фотий. Ответ очевидца на показания Фотия о Татариновой и её союзе» (1874) призваны защитить память многолетнего покровителя всего семейства Кукольников Н. Н. Новосильцева и сыгравшую важную роль в биографии Кукольника руководительницы религиозного кружка 1817—1837 гг. в Петербурге Е. Ф. Татариновой людей. Они содержат любопытные подробности эпизодов собственной жизни Кукольника и нравов его окружения в Петербурге и Вильне.

Драматургия

В юности увлекался театром и писал трагедии в духе Ж. Расина. Громоздкие трагедии и драмы в стихах на исторические и библейские сюжеты писались с оглядкой на каноны классицизма и отличались религиозной дидактичностью. Фабула трагедии «Гуниад» почерпнута в истории венгерского полководца XV Януш Хуньяди. Лежащая в основе проблема долга подданного и государя присуща драматургии классицизма. «Морской разбойник» проповедует верность христианским ценностям.

Кукольник ценил их особенно высоко, сознавая в то же время их архаичность.

Поэзия

Кукольник писал рассказы и повести в стихах «Мария», «Друг», «Враг», «Дедушкино видение». Они публиковались с 1834 (иногда под криптонимом П. К. или анонимно) отдельными изданиями и в трёх сборниках, вышедших в Вильне «Стихотворения» (1861), «Стихотворения. Т. 2» (1872), «Последний кусок моей духовной жизни» (1882).

Роман в стихах «Три года жизни» (1834) с дополнениями включён в сборник «Стихотворения. Т. 2» (1872), эпилог в книге «Последний кусок моей духовной жизни» (1882). Слогом и отдельными чертами напоминает роман А. С. Пушкина «Евгений Онегин».

В сборники, напечатанные маленькими тиражами для друзей и знакомых и не предназначенные для продажи, вошли посвящения и стихотворения «на случай» — дни рождения или именин знакомых, общенациональные или местные события (концерт в Вильне скрипача К. Ю. Липинского, принятие под покровительство цесаревича Николая Александровича виленского Музея древностей, пленение имама Шамиля, оставление должности виленского генерал-губернатора В. И. Назимовым, назначение А. Л. Потапова виленским генерал-губернатором. Отдельным оттиском к приезду императора Александра II вышло стихотворение «6-е сентября 1858 г. в Вильне».