Все свидетели обвинения начинали свои показания со слов: «Я с Бродским лично не знаком…», перекликаясь с формулировкой времён травли Пастернака: «Я роман Пастернака не читал, но осуждаю!..».

2 на втором заседании суда Бродский был приговорён к максимально возможному по указу о «тунеядстве» наказанию — пяти годам принудительного труда в отдалённой местности. Он был сослан (этапирован под конвоем вместе с уголовными заключенными) в Коношский район Архангельской области и поселился в деревне Норенская. В интервью Волкову Бродский назвал это время самым счастливым в своей жизни. В ссылке Бродский изучал английскую поэзию, в том числе творчество Уистена Одена:

Я помню, как сидел в маленькой избе, глядя через квадратное, размером с иллюминатор, окно на мокрую, топкую дорогу с бродящими по ней курами, наполовину веря тому, что я только что прочёл… Я просто отказывался верить, что ещё в 1939 году английский поэт сказал: «Время… боготворит язык», а мир остался прежним.

Наряду с обширными поэтическими публикациями в эмигрантских изданиях («Воздушные пути», «Новое русское слово», «Посев», «Грани» и др.), в августе и сентябре 1965 года два стихотворения Бродского были опубликованы в коношской районной газете «Призыв».

Суд над поэтом стал одним из факторов, приведших к возникновению правозащитного движения в СССР и к усилению внимания за рубежом к ситуации в области прав человека в СССР. Запись суда, сделанная Фридой Вигдоровой, была опубликована во влиятельных зарубежных изданиях: «New Leader», «Encounter», «Figaro Litteraire», читалась по Би-би-си. При активном участии Ахматовой общественная кампания в защиту Бродского велась в России. Центральными фигурами в ней были Фрида Вигдорова и Лидия Чуковская. На протяжении полутора лет они неутомимо писали письма в защиту Бродского во все партийные и судебные инстанции и привлекали к делу защиты Бродского людей, пользующихся влиянием в советской системе. Письма в защиту Бродского были отправлены Д. Д. Шостаковичем, С. Я. Маршаком, К. И. Чуковским, К. Г. Паустовским, А. Т. Твардовским, Ю. П. Германом. По прошествии полутора лет, в сентябре 1965 года под давлением советской и мировой общественности (в частности, после обращения к советскому правительству Жан-Поля Сартра и ряда других зарубежных писателей) срок ссылки был сокращен до фактически отбытого, и Бродский вернулся в Ленинград. По мнению Я. Гордина: «Хлопоты корифеев советской культуры никакого влияния на власть не оказали. Решающим было предупреждение „друга СССР“ Жана-Поля Сартра, что на Европейском форуме писателей советская делегация из-за „дела Бродского“ может оказаться в трудном положении».

В октябре 1965 года Бродский по рекомендации Корнея Чуковского и Бориса Вахтина был принят в Группком переводчиков при Ленинградском отделении Союза писателей СССР, что позволило в дальнейшем избежать новых обвинений в тунеядстве.

В своих интервью Бродский противился навязываемому ему — особенно западными средствами массовой информации — образу борца с советской властью. А. Волгина писала, что Бродский «не любил рассказывать в интервью о лишениях, перенесённых им в советских психушках и тюрьмах, настойчиво уходя от имиджа „жертвы режима“ к имиджу „self-made man“». Он делал утверждения вроде: «Мне повезло во всех отношениях. Другим людям доставалось гораздо больше, приходилось гораздо тяжелее, чем мне». И даже: «… я-то считаю, что я вообще всё это заслужил». В «Диалогах с Иосифом Бродским» Соломона Волкова Бродский заявлял по поводу записи суда Фридой Вигдоровой: «Не так уж это всё и интересно, Соломон. Поверьте мне», на что Волков выражает своё возмущение: