Вскоре Колин покинул группу и Роджер занял место вокалиста. The Detours начинали с перепевания поп-мелодий, но вскоре стали делать каверы американского ритм-энд-блюза. В начале 1964 года The Detours узнали, что есть группа с таким же названием, и решили сменить его. Друг Пита по школе искусств, Ричард Барнс, предложил название The Who, и это название было официально принято. Вскоре после этого Доуг Сандом покинул группу, и в апреле его место занял молодой ударник Кит Мун.

The Who нашли способ привлечь фанатов после того, как Таунсенд случайно сломал гриф гитары о низкий потолок во время концерта. Во время следующего концерта фанаты кричали Питу сделать это вновь. Он сломал свою гитару, и Кит последовал его примеру, разбив свою ударную установку. Тогда же появилась «воздушная мельница» — стиль игры на гитаре, придуманный Питом, в основу которого легли сценические движения Кита Ричардса.

В мае 1964 The Who были взяты под шефство Питом Мидэном — лидером нового британского молодёжного движения модов. Мидэн переименовал The Who в The High Numbers (Numbers — так моды называли друг друга, а High подразумевало употребление липеров, таблеток, которые принимали моды, чтобы провести все выходные на дискотеках).

Мидэн написал единственный сингл The High Numbers «I’m the Face» (песня была старой R&B-песней с новым текстом о модах). Несмотря на все попытки Мидэна, сингл провалился, но группа полюбилась модам. В это время молодые режиссёр Кит Ламберт (сын композитора Кристофера Ламберта) и актёр Крис Стамп (брат актёра Теренса Стампа) искали группу, о которой они могли бы снять фильм. Их выбор пал на группу The High Numbers. В июле 1964 они стали новыми менеджерами группы. После провала на студии EMI Records группа вновь вернулась к названию The Who.

Первые успехи и разногласия в группе (1964—1965)

The Who всколыхнули Лондон после ночных выступлений в клубе Marquee Club в ноябре 1964 года. Группа была разрекламирована по всему Лондону чёрными плакатами, изготовленными Ричардом Барнсом, включавшими «воздушно-мельничного» Пита Таунсенда с надписью «Maximum R&B».

Кит и Крис подтолкнули Пита начать писать песни для группы, для того чтобы привлечь внимание продюсера группы The Kinks Шелла Талми. Пит адаптировал свою песню «I Can’t Explain» под стиль песен The Kinks и убедил Талми. The Who подписали с ним контракт, и он стал их продюсером на следующие 5 лет. Талми в свою очередь, помог группе заключить контракт с Decca Records в США.

Ранние песни Пита были написаны в противопоставление сценическому образу Роджера-мачо. Роджер занимал положение лидера в группе с помощью силы. Возрастающие способности Пита как автора песен угрожали этому статусу, особенно после хит-сингла «My Generation». Когда сингл пробился в чарты в декабре 1965 года, Пит, Джон и Кит принудили Роджера покинуть группу из-за его жёсткого поведения (это произошло после того как Роджер обнаружил наркотики Кита и смыл их в унитаз. Кит попытался возразить, но Роджер свалил его одним ударом). Позже Роджер пообещал быть «мирным» и был принят обратно.

Первые альбомы (1965—1966)

В это же время The Who выпустили свой первый альбом My Generation. Из-за отсутствия рекламы в США и желания подписать контракт с Atlantic Records Кит и Крис разрывают контракт с Тэлми и подписывают контракты с Atlantic Records в США и с Reaction в Великобритании. Тэлми ответил встречным иском, полностью остановившим выпуск следующего сингла «Substitute». После этого группа заплатила гонорар Тэлми за следующие пять лет и вернулись на Decca в США. Это событие и чрезвычайно дорогие замены разбитых инструментов вскоре ввели The Who в большие долги.