Вскоре на место басиста в группу была принята сестра клавишника Пола Росслера из группы 45 Grave — Кира Росслер. После её прихода в группе начался самый плодотворный творческий период. Дуковски был опытным и мощным бас-гитаристом, а Росслер привнесла в игру группы новый уровень сложности. Это соответствовало музыкальным амбициям Грега Гинна.

В конце 1984 года группа выпустила ещё два студийных альбома: в сентябре вышел Family Man, а в декабре появились Slip It In и первый концертный альбом группы Live '84. В их композициях музыканты плотно начали экспериментировать со звучанием в сторону тяжелого металла. В течение года музыканты практически постоянно гастролировали, проведя за год 178 концертов. Первая сторона альбома Family Man представляет собой треки, исполненные Генри Роллинзом форме spoken word (пример таких записей вскоре был перенят многими панк-группами и музыкантами, включая Джелло Биафру) и только последняя композиция «Armageddon Man» — единственный трек на альбоме, где Роллинз и инструменты записаны совместно, он является неким разделителем альбома, а вторая сторона, записана в жанре инструментального рока.

Альбом Slip It In по звучанию напоминает пластинку My War, то есть: тяжелый, интенсивный, плотный и прогрессивный. Так же он демонстрирует все более широкое использование инструментальньной музыки в стиле фьюжн-джаз, что проявляется в песне «Obliterationе», где Грег Гинн продемонстрировал более сложный стиль игры Black Flag.

Помимо записи альбомов группа много гастролировала. Однажды Black Flag отыграли в течение суток три концерта в разных штатах. Концертный альбом Live '84, записанный 24 августа 1984 года в клубе Stone города Сан-Франциско, Калифорния, был выпущен в декабре того же года. Большинство его треков так же представлены на альбомах My War и Slip It In. Первоначально альбом был выпущен только на аудиокассетах, а в 1998 году он был переиздан на CD.

В дальнейшем группа все больше отдалялась от панка к металу и хард-року. В 1985 году группа записала 2 альбома в абсолютно чуждом панку стиле. Музыка Black Flag постепенно становилась все депрессивнее и мрачнее. В мае был выпущен альбом Loose Nut. Последний альбом In My Head был выпущен в октябре. Он был записан в тянучей манере в стиле тяжелого-рока. Вокал варьируется от речитативов хардкор-панка до шептания схожего с блэк-металлом, в композиции «It’s All Up to You» присутствует бэк вокал Киры Росслер. Изначально Грег Гинн намеревался записать его как свой первый сольный альбом. В переиздание на CD были добавлены три песни, которые присутствуют на EP I Can See You, первоначальная же версия была выпущена на аудиокассетах и LP. Спустя много лет известный журнал журнал Kerrang! отметил, что альбом группы является ярким дум-металлическим произведением. Не выдержав столь напряженной работы из группы вскоре ушли Росслер и Стивенсон. Многие идеи альбома альбома позднее были заимствованы группами Nirvana и Paradise Lost.

19 марта 1986 года был выпущен второй концертный альбом Who's Got the 10½?, который был записан 23 августа 1985 года на концерте Starry Night в городе Портленд, Орегон.

После напряженного творческого периода из группы вскоре ушли Росслер и Стивенсон. Место за барабанной установкой занял Энтони Мартинес, а бас-гитаристом стал Сэл Ревуэлта. Однако новый состав так и не записал ни одной пластинки и провел лишь одно турне. Свой последний концерт Black Flag отыграли 27 июня 1986 года в Детройте, Мичиган. Шоу имело хорошее качество звука и было доступно через онлайн трейдинг.