Never Say Die!, стилистически разнородный альбом насыщенный элементами джаз-, синт-, блюз- и прог-рока, вышел в сентябре 1978 года, поднявшись до #12 в Британии (#69 в США). Синглами из альбома вышли «Never Say Die» и «Hard Road». Оба попали в британский top 40 и позволили группе второй раз выступить в программе Top of the Pops (с «Never Say Die»). «Золотого» статуса пластинке в США пришлось ждать двадцать лет.

В целом Never Say Die имел мало общего с теми идеями, которые сделали Black Sabbath пионерами своего жанра. Музыкальная пресса раскритиковала альбом, и впоследствии критики не обнаружили в нём достоинств: согласно AllMusic, «эти расфокусированные песни идеально отразили в себе внутреннюю напряженность в группе, терзаемой личными конфликтами и злоупотреблением наркотиками». Гастроли Black Sabbath в поддержку Never Say Die! начались в мае 1978 года. Обозреватели отметили, что группа на сцене выглядела «усталой и лишенной вдохновения» — в неприятном контрасте с «юношеским задором» разогревщиков Van Halen, для которых это всемирное турне было первым. Июньский концерт в Hammersmith Odeon был заснят на плёнку и позже вышел на DVD под заголовком Never Say Die. Заключительный концерт турне, в котором Осборн в последний раз (перед многолетним отсутствием) вышел со своей группой на сцену, состоялся в Альбукерке, Нью-Мексико, 11 декабря.

Завершив тур, Black Sabbath вернулись в Лос-Анджелес, вновь сняли дом в Бель-Эйр и провели год, готовя материал следующей пластинки. Процесс шёл трудно, и напряжение нарастало, подогреваемое требованиями записывающей компании ускорить его. Осборн не в состоянии был предложить новых идей, и Айомми его уволил. «На тот момент Оззи подошел к концу. Все мы много принимали наркоты, кокаина, всего вообще, но Оззи ещё и пил непрерывно. Считалось, что мы репетируем. Но ничего не происходило. Типа: „Ну что, порепетируем сегодня? Давай лучше завтра“. Так ничего и не вышло: деньги растворились», — вспоминал Айомми. «Алкоголь определенно был бичом Black Sabbath. У нас просто судьбой было предопределено, чтобы мы себя уничтожили», — признавал Уорд, которому в тот момент, как другу Оззи, поручили сообщить вокалисту известие о том, что он из состава уволен.

Heaven and Hell и Mob Rules (1979—1982)

В 1979 году Шэрон Арден (позже — Шэрон Осборн), дочь Дона Ардена, менеджера Black Sabbath, предложила Ронни Джеймсу Дио, вокалисту Rainbow, заменить Осборна. В июне Дио стал официальным участником группы и та приступила к работе над следующим альбомом. Приход Дио, певца совершенно иного вокального стиля, ознаменовал собой радикальное изменение звучания группы. «Они были совершенно разными, и не только по тембру голоса но и в самом подходе. Оззи был блестящим шоуменом, но Дио принёс с собой совершенно новое отношение к музыкальному решению, в вокале. Если Оззи пел следуя риффу, как в 'Iron Man', то Дио — 'вопреки' риффу. Его приход привнес совершенно новый взгляд на сам процесс создания песен»98, — говорил Айомми. Во многом благодаря Дио и его знаменитая «коза» (изначально призванная нейтрализовать «дурной взгляд», а затем ставшая его привычным приветствием, обращённым к аудитории) приобрела популярность в метал-субкультуре, став жестом, общепринятым среди — как музыкантов, так и фанатов.

В сентябре 1979 года Гизер Батлер временно покинул состав: его заменил Джефф Николс (Geoff Nicholls, экс- Quartz). Этот состав вернулся в ноябре в Criteria Studios и начал записывать материал. В январе в группу вернулся Батлер, после чего Николс перешёл за клавишные. Альбом Heaven and Hell, записанный Мартином Бёрчем, вышел 25 апреля 1980 года и был хорошо принят критикой. Десятилетие спустя рецензент AllMusic назвал релиз одним из лучших альбомов Sabbath, несшим в себе все признаки возрождения и присутствия новой энергии.. Heaven and Hell поднялся до # 9 в Великобритании (# 28 США), успех в чартах имели и два сингла него: «Neon Knights» и «Die Young» стали хитами. Группа вышла в большое всемирное турне, дав свой первый концерт с Дио в Германии 17 апреля 1980 года. Весь 1980 года Black Sabbath гастролировали вместе с Blue Oyster Cult в рамках тура Black and Blue. Концерт в Nassau Coliseum (Юниондейл, Нью-Йорк) был снят на пленку и вышел фильмом в 1981 года под заголовком «Black and Blue». 26 июля 1980 года Black Sabbath выступили перед 75-тысячной аудиторией, заполнившей лос-анджелесский Memorial Coliseum (вместе с Journey, Cheap Trick и Molly Hatchet). Примерно в это время на Vertigo вышел концертный альбом Black Sabbath Live at Last, куда вошли записи, сделанные в течение предыдущих семи лет; он был почти сразу же снят с продажи, но успел попасть в Top-5 (перевыпущенный сингл «Paranoid» вошёл в первую двадцатку).