В 2001 году Фрушанте приступил к записи своего четвёртого альбома с Red Hot Chili Peppers, By the Way (2002). Он считал это время одно из самых счастливых в его жизни. Он смаковал записью альбома, ведь он мог «продолжать писать лучшие песни». Во время работы над By the Way, он также написал большинство тем из которых получился его четвёртый альбом Shadows Collide with People, а также песни, созданные для фильма Бурый кролик. Его цель была улучшить свою технику игры на гитаре — это было во многом обусловлено желанием подражать легендарным гитаристам, таким как Энди Партридж, Джонни Марр и Джон Макгиох, или, как он выразился, «людям, которые использовали хорошие аккорды». Альбом был отмечен, как прорыв Фрушанте к современным группам. Настрой в Chili Peppers показал группу как единое целое, а не как четыре отдельных лица.

2002—2007: Записи 2004 года и Stadium Arcadium

Фрушанте написал и записал множество песен во время и после тура в поддержку By the Way. В феврале 2004 года он начал сайд-проект с Джо Лэлли из Fugazi и Джошем Клингхоффером, названный Ataxia. Группа была вместе около двух недель, в течение которых они записали около девяноста минут материала. После двух дней в студии, они отыграли два концерта в Knitting Factory в Голливуде, и провели два дня в студии перед роспуском. В том же году пять песен, написанных Фрушанте появилась в саундтреке к фильму Коричневый кролик.

Фрушанте выпустил свой четвёртый полноценный сольный альбом Shadows Collide with People 24 февраля 2004 года. Выступления было с приглашенными музыкантами из некоторых его друзей, в том числе Клингхоффер, а также Чад Смит и Фли из Chili Peppers. В июне 2004 года он объявил, что будет выпускать шесть записей в течение шести месяцев: The Will to Death, Automatic Writing, DC EP, Inside of Emptiness, A Sphere in the Heart of Silence и Curtains. С выпуском Curtains Фрушанте дебютировал с единственным клипом 2004 года на песню «The Past Recedes». Он хотел, чтобы эти записи выходили быстро и недорого на аналоговые ленты, избегая современных студий и компьютерных процессов записей. Фрушанте отметил: «Эти шесть записей были сделаны в течение шести месяцев после возвращения домой с гастролей с Chili Peppers. Я составил список всех песен, которые у меня были их было около семидесяти. Моей целью было записать столько песен, сколько я мог во время перерыва. Это было определенно самое продуктивное время в моей жизни».

В начале 2005 года Фрушанте пришёл в студию для работы над своим пятым и последним студийным альбомом с Chili Peppers, Stadium Arcadium. Его игра на гитаре является доминирующей составляющей на протяжении всего альбома, также он на бэк-вокале на большинстве треков. Хотя после «less is more» стиль игры на гитаре поменялся и он начал использовать микшер для максимального эффекта. Он включает в себя широкий спектр звуков и стилей игры, от фанка под влиянием Blood Sugar Sex Magik к более мелодичному звучанию. Он также изменил свой подход к своей игре, предпочитая играть соло, которое формируется из джем-сейшн. В интервью с Guitar World, Фрушанте объяснил, что он подошел к гитарным соло для нового альбома Stadium Arcadium совершенно иначе, чем в их предыдущие альбомы. Blood Sugar Sex Magik и Californication, Фрушанте имел представление чего он хотел от своей гитары. Для Stadium Arcadium, почти каждое гитарное соло было полностью импровизацией Фрушанте на месте. Несколько отзывов подчеркнули, что влияние Хендрикса проявляется в его соло на альбоме. Он также расширил использование гитарных эффектов на протяжении всего альбома, также использовались различные сторонние инструменты, такие как синтезатор и меллотрон. Он работал непрерывно с Рубином над звучанием гитары, измененяя гармонию и используя все свои технические ресурсы и знания.