Увлёкшись изучением сохранившегося в городе Острогожске, где стоял его полк, архива местного уездного суда, Костомаров задумал писать историю слободских казачьих полков. По совету начальства он оставил полк и осенью 1837 года вновь явился в Харьков с намерением пополнить своё историческое образование.

В это время усиленных занятий у Костомарова, отчасти под влиянием Лунина, стал складываться взгляд на историю, в котором были оригинальные черты сравнительно с господствовавшими тогда среди русских историков воззрениями. По позднейшим словам самого учёного, он «читал много всякого рода исторических книг, вдумывался в науку и пришёл к такому вопросу: отчего это во всех историях толкуют о выдающихся государственных деятелях, иногда о законах и учреждениях, но как будто пренебрегают жизнью народной массы? Бедный мужик-земледелец-труженик как будто не существует для истории; отчего история не говорит нам ничего о его быте, о его духовной жизни, о его чувствованиях, способе его радостей и печалей»? Мысль об истории народа и его духовной жизни, в противоположность истории государства, стала с этой поры основной идеей в кругу исторических воззрений Костомарова. Видоизменяя понятие о содержании истории, он раздвигал и круг её источников. «Скоро, — пишет он, — я пришёл к убеждению, что историю нужно изучать не только по мертвым летописям и запискам, а и в живом народе». Он научился украинскому языку, перечитал изданные народные украинские песни и печатную литературу на украинском языке, тогда очень небольшую, предпринимал «этнографические экскурсии из Харькова по соседним сёлам, по шинкам». Весну 1838 года он провёл в Москве, где слушание лекций С. П. Шевырёва ещё более укрепило в нём романтическое отношение к народности.

Интересно, что до 16 лет Костомаров не имел понятия об Украине и украинском языке. Что такое Украина и украинский язык, он узнал в Харьковском университете и стал кое-что писать по-украински2013. «Любовь к малорусскому слову более и более увлекала меня, — вспоминал Костомаров, — мне было досадно, что такой прекрасный язык, остается без всякой литературной обработки и, сверх того, подвергается совершенно незаслуженному презрению». Со второй половины 1830-х годов он начал писать по-украински, под псевдонимом Иеремия Галка, и в 1839—1841 годах выпустил в свет две драмы и несколько сборников стихотворений, оригинальных и переводных.

Быстро продвигались вперед и его занятия по истории. В 1840 году Костомаров выдержал магистерский экзамен.

В 1842 году он напечатал диссертацию «О причинах и характере унии в западной России». Назначенный уже диспут не состоялся вследствие сообщения архиепископа Харьковского Иннокентия о возмутительном содержании книги. Хотя речь шла лишь о нескольких неудачных выражениях, петербургский профессор Н. Г. Устрялов, по поручению Министерства народного просвещения разбиравший труд Костомарова, дал о нём такой отзыв, что книгу велено было сжечь.

Костомарову дозволено было написать другую магистерскую диссертацию, и в конце 1843 года он представил на факультет работу под названием «Об историческом значении русской народной поэзии», которую и защитил в начале следующего года. В этом труде нашли яркое выражение этнографические стремления исследователя, принявшие более определённый вид благодаря сближению его с кружком молодых украинцев (Корсун, Кореницкий, Бецкий и др.), подобно ему мечтавших о возрождении украинской литературы.