В марте группа вернулась в Лондон для записи четвертого альбома. Позднее, в первую неделю апреля, участники отправились в Израиль, но поездка не привела к успеху. Майкл Монро не мог выйти из гостиницы в связи со своим сравнительно необычным внешним видом: местные жители считали его неприлично одетой женщиной и собирались вокруг, иногда плюя в него. Кроме того, Нэсти Суисайд сломал лодыжку, а громкий стиль игры группы не понравился израильтянам. В конце весны Hanoi Rocks выступили в Лондоне и Норвегии, а в преддверии нового альбома был выпущен сингл «Malibu Beach / Rebel On The Run». Четвертый альбом группы, «Back to Mystery City», вышел вскоре после этого и занял 87 место в британском хит-параде. В Англии записи группы издавались лейблом Сеппо Вестеринена и Ричарда Бишопа Lick Records, а в Финляндии — Johanna Kustannus. После выхода альбома Hanoi Rocks выступали в этих странах до июня 1983 года, когда был заключен контракт с компанией CBS на £150000.

Боб Эзрин и All Those Wasted Years (1983—1984)

В августе 1983 года Hanoi Rocks выпустили сингл «Until I Get You / Tragedy» и макси-сингл «Until I Get You / Tragedy / Oriental Beat». 13 августа Lick Records впервые издали все три альбома группы в Великобритании. На следующий день участники выступили на рок-фестивале Ruisrock в финском городе Турку. Перед концертом Майкл Монро дал интервью радиовещательной компании YLE, где рассказал о том, что Маккой и Суисайд больше не могли контролировать свою тягу к алкоголю. Также он отметил, что сам не выпивал и не использовал наркотики. В октябре 1983 года легендарный продюсер Боб Эзрин прилетел из США, чтобы увидеть выступление Hanoi Rocks в Лондоне, а в декабре было объявлено о том, что он будет работать над следующим альбомом группы.

В сентябре участники начали готовиться к выпуску пятого студийного альбома. Песни, над которыми работали участники, состояли из «Two Steps From The Move», «Never Get Enough» (ранняя версия «Million Miles Away»), «I Can’t Get It», «Keep Our Fire Burning», а также «Bad Love» и «Teenage Revolution». Рабочее название альбома было «Silver Missiles and Nightingales», а его выпуск был намечен на 16 февраля 1984 года.

19 и 20 декабря Hanoi Rocks снова выступили в клубе Marquee, а запись этих выступлений послужила основой для концертного альбома «All Those Wasted Years», изданного в начале 1984 года.

Two Steps from the Move (1984)

В конце января 1984 года Боб Эзрин и Энди Маккой вылетели в Торонто для работы над новыми песнями. Остальные участники Hanoi Rocks присоединились к ним через несколько дней. Пребывая в Торонто, группа уделяла много времени репетициям и созданию песен. Музыканты имели плотный график, поэтому многие сессии были изнурительными для них. Эзрин в это время пригласил участника Mott the Hoople Иэна Хантера для помощи в написании песен. Первые звукозаписывающие сессии начались 20 февраля 1984 года в студии Record Plant в Нью-Йорке, во время которых были сыграны барабанные, бас-гитарные и некоторые гитарные партии. После этого группа вернулась в Торонто для записи вокальных и оставшихся гитарных партий. Для участия в работе над альбомом Иэн Хантер связался с Джеком Брюсом, а Брюс обратился к Питу Брауну. Браун написал много текстов, но лишь строка «Smoked a lot of sky, drank a lot of rain» была использована группой, став частью песни «Million Miles Away».

К концу апреля новый альбом был почти готов к изданию. Эзрин считал, что альбому не хватало хита, поэтому было принято решение записать кавер-версию песни «Up Around The Bend» группы Creedence Clearwater Revival, которая на тот момент уже нравилась Майклу Монро и Нэсти Суисайду.