Во время одной из поездок Панаевых и Некрасова в Казанскую губернию, Авдотья и Николай Алексеевич всё же признались друг другу в своих чувствах. По возвращении они стали жить гражданским браком в квартире Панаевых, причём вместе с законным мужем Авдотьи — Иваном Панаевым. Такой союз продлился почти 16 лет, до самой смерти Панаева. Всё это вызывало общественное осуждение — про Некрасова говорили, что он живёт в чужом доме, любит чужую жену, и при этом ещё и закатывает сцены ревности законному мужу. В этот период от него отвернулись даже многие друзья. Но, несмотря на это, Некрасов и Панаева были счастливы. Ей даже удалось от него забеременеть, а Некрасов создал один из лучших своих стихотворных циклов — так называемый «Панаевский цикл» (многое из этого цикла они писали и редактировали вместе). Соавторству Некрасова и Станицкого (псевдоним Авдотьи Яковлевны) принадлежит несколько романов, имевших большой успех. Несмотря на такой нестандартный образ жизни, эта троица оставались единомышленниками и соратниками в деле возрождения и становления журнала «Современник».

В 1849 году у Авдотьи Яковлевны от Некрасова родился мальчик, однако он прожил недолго. В это время заболел и Николай Алексеевич. Предполагают, что именно со смертью ребёнка связаны сильные приступы гнева и перемены настроения, которые вскоре привели к разрыву в их с Авдотьей отношениях. В 1860-х годах умер Иван Панаев, а вскоре от Некрасова ушла Авдотья Панаева. Но Некрасов помнил её до конца жизни, и при составлении завещания упомянул её в нём, а с Панаевым всегда оставался в очень хороших отношениях.

В мае 1864 года Некрасов отправился в заграничную поездку, которая продолжалась около трёх месяцев. Жил он преимущественно в Париже вместе со своими спутницами — родной сестрой Анной Алексеевной и француженкой Селиной Лефрен (Lefresne), с которой он познакомился ещё в Петербурге в 1863 году. Селина была обычной актрисой французской труппы, выступавшей в Михайловском театре. Она отличалась живым нравом и лёгким характером. Лето 1866 года Селина провела в Карабихе. А весной 1867 она отправилась за границу, как и в прошлый раз, вместе с Некрасовым и его сестрой Анной. Но на этот раз она в Россию больше не вернулась. Однако это не прервало их отношений — в 1869 году они встретились в Париже и весь август провели у моря в Диеппе. Некрасов остался очень доволен этой поездкой, поправив также и своё здоровье. Во время отдыха он чувствовал себя счастливым, причиной чему была и Селина, которая была ему по душе. Хотя её отношение к нему было ровным, и даже чуть суховатым. Вернувшись, Некрасов ещё долго не забывал Селину, и помогал ей. А в своём предсмертном завещании назначил ей десять с половиной тысяч рублей.

Позже Некрасов познакомился с деревенской девушкой Фёклой Анисимовной Викторовой, простой и необразованной. Ей было 23 года, ему уже 48. Писатель водил её в театры, на концерты и выставки, чтобы восполнить пробелы в воспитании. Николай Алексеевич придумал ей имя — Зина. Так Фёкла Анисимовна стала называться Зинаидой Николаевной. Она учила наизусть стихи Некрасова и восхищалась им. Вскоре они обвенчались. Однако Некрасов всё же тосковал по своей прежней любви — Авдотье Панаевой, и одновременно любил и Зинаиду, и француженку Селину Лефрен, с которой у него был роман за границей. Одно из самых своих знаменитых стихотворных произведений — «Три элегии» — он посвятил только Панаевой.