Альбом отходит от электронной музыки в пользу пост-гранжа и альтернативного рока, и напоминает стиль концертных выступлений, нежели студийное творчество группы. Кроме того, композиции «Metal Heart» и «Boys Wanna Fight» содержат элементы индастриала. О звучании пластинки Бутч Виг сказал следующее:

Мы ушли назад в этом альбоме. Это значит, что мы вернулись к первоначальному звуку — гитары, бас, барабаны и голос Ширли.«We've almost gone backwards in this album. It's getting us back to a more primal sound - guitars, bass, drums and Shirley's voice».

С точки зрения лирики Bleed Like Me, в отличие от предыдущих альбомов, стал более политически направленным. Например, в композиции «Sex Is Not the Enemy» поднимаются проблемы репродуктивных прав и гражданских свобод. Как признаётся Мэнсон, песней «Sex Is Not The Enemy» она хотела привлечь внимание людей на политику США в области защиты прав человека или же на права гражданского населения в глобальном масштабе.

В марте 2005 года стартовал концертный тур Bleed Like Me World Tour. Первое выступление состоялось в Париже, после чего группа отыграла концерты в Северной Америке, Европе, Австралии и выступила на нескольких рок-фестивалях и радио-шоу. Также Garbаge выступили в России в рамках фестиваля Tuborg GreenFest в Москве. Во время тура к группе присоединился Эрик Эвери и Matt Walker (drummer). Несмотря на то, что завершение гастрольного тура было намечено на 2006 год, 25 августа 2005 группа отменила концерты запланированные на октябрь во Франции, Бельгии и Великобритании. Тур завершился 1 октября концертом в городе Перт в Австралии. Позже участники группы объявили о «бессрочном отпуске» и прекратили творческую деятельность. По заявлению Ширли Мэнсон причиной этого стала «усталость коллектива» от гастролей и совместной работы. Начали ходить слухи о возможном распаде группы, но музыканты заверили, что они не заинтересованы в этом.

В конце 2005 группа объявила о том, что планирует выпустить сборник лучших песен. В течение 2006 года участники группы активно занимались сторонними проектами: Ширли Мэнсон начала запись до сих пор не вышедшего сольного альбома, Бутч Виг вновь занялся продюсированием, Дюк Эрикссон сотрудничал с BBC и работал над кантри-музыкой, а Стив Маркер занимался созданием музыки к фильмам.

Absolute Garbage и сторонние проекты (2007—2009)

Перерыв Garbage завершился в 2007 году. 31 января группа выступила на благотворительном концерте в Глендейл, организованном Бутчем Вигом, чтобы помочь оплатить лечение рака горла музыканту Wally Ingram. До этого участники группы делились своими идеями по поводу записи нового материала через интернет. В феврале 2007 года Garbage собрались в домашней студии Бутча Вига GrungeIsDead и начали работу над песнями. В итоге было записано четыре трека, среди которых «Tell Me Where It Hurts», стилизованный под поп-музыку 1970-х годов, был выпущен в качестве сингла.

23 июля 2007 года группа выпускает сборник Absolute Garbage, в который в хронологической последовательности вошли шестнадцать синглов группы, прошедшие ремастеринг, новая песня «Tell Me Where It Hurts» и два ремикса на композиции «Bad Boyfriend» и «It’s All Over but the Crying». iTunes-версия альбома включала песню All the Good in This Life. Специальное издание содержало бонус-диск с ремиксами от таких известных музыкантов, как UNKLE, Massive Attack, The Crystal Method, Fun Lovin’ Criminals и многих других. DVD-издание сборника содержало шестнадцать видеоклипов и документальный фильм Thanks For Your, Uhhh Support, в котором были использованы кадры снятые за кулисами, архив концертных выступлений группы и интервью. Сборник дебютировал на 11-й позиции чарта Великобритании и на 68-й строчке Billboard 200. В австралийском чарте Absolute Garbage дебютировал на 23-м месте, после чего сборник поднялся до 18-го места, оставаясь в чарте в течение восьми недель.