Решив покинуть город, герой отправляется поездом обратно в Лос-Анджелес, тратя последние деньги на билет к родителям, у которых останавливается на несколько дней. Отец выдвигает ему требование о необходимости в кратчайшие сроки найти работу и оплачивать своё проживание, а также еду и стирку; в ближайший же вечер случается первый крупный скандал — патрульная машина привозит пьяного Чинаски к родным, которые тяжело переживают безделье сына и его пристрастие к спиртному. Ситуация повторяется спустя пару дней — на этот раз Генри оказывается в городской тюрьме, откуда его забирает отец, внеся залог. Ни у Чинаски, ни у Буковски отношения с родителями не сложились с самого детства; беседуя с журналистом The London Magazine, автор говорил: «Отцу нравилось пороть меня ремнём для правки бритвы. Мать его поддерживала. Грустная история. В общем, хорошая дисциплина, но очень мало любви с обеих сторон». Главный герой устраивается на работу в магазин «Автозапчасти» и решает съехать от родителей — совместное с ними жильё обходится Чинаски слишком дорого. Проработав достаточно, чтобы скопить на билет до Нью-Йорка, он снова уезжает. На новом месте он меняет ещё два места работы — съёмщика плакатов в метрополитене (не продержавшись и ночи, увольняется из-за высокой интенсивности труда и необходимости работать в темноте) и сотрудника фабрики по производству собачьего корма, откуда, проработав две недели, уходит из-за систематического переутомления. С Нью-Йорком «не сложилось» и у самого Буковски — он говорил о городе следующее: «Там трудно жить без денег, на чужой территории и без профессии. Это было в 1944-м или 1945-м — теперь, может, и славное местечко, только я пытаться не стану». Чинаски покидает город и отправляется в Филадельфию, а, не найдя себе применения там, меняет её на Сент-Луис. Здесь же в сюжетную линию романа впервые вписываются творческие искания героя.

Он наконец-то добивается своего — после многочисленных отказов в новый выпуск попадает рассказ Чинаски «Моя душа, напоённая пивом, печальней всех мёртвых рождественских ёлок на свете», о чём Глэдмор уведомляет его в личном письме. В этом месте романа Буковски допускает расхождение со своей биографией: за год до выпуска «Фактотума» в печать, отвечая на вопрос журналиста The London Magazine Роберта Веннерстена (Robert Wennerstern), он говорил, что свой первый опубликованный рассказ он отправил не во Frontline, а в журнал Story (magazine). Также есть сомнение в хронологической последовательности публикаций малой прозы писателя — в интервью 1970 года своей первой работой, попавшей в печать (опять-таки в Story, а не во Frontline), он называет «Психа из Вудбери» — рассказ, ныне считающийся утраченным.

Чинаски снова возвращается в Лос-Анджелес. В одном из местных баров он знакомится с Лорой — пьющей в одиночестве девушкой, подобно главному герою не почитающей чьё-либо общество («здесь собираются одни придурки»). Она представляет его своим друзьям — миллионеру со странными привычками Уилбуру и двум девушкам, находящимся на его попечении, — Грейс и Джерри. Проведя несколько дней в их обществе и переспав с каждой из них, Генри расстаётся с ними, а затем устраивается на новую работу — на этот раз в магазин велосипедных запчастей, где во время одного из обеденных перерывов знакомится с Джан (Джен), с которой они быстро сходятся характерами и начинают жить вместе. Из-за систематических опозданий Чинаски теряет работу, но находит новый кратковременный источник дохода — игру на скачках, которой страстно увлекается. В реальной жизни Буковски любил игру на скачках не меньше, чем Чинаски в «Фактотуме» — в интервью журналисту Los Angeles Free Press писатель говорил: «Я просираю время и деньги на бегах, потому что я чокнутый, — я надеюсь выиграть столько, чтобы уже не работать на скотобойнях, почтамтах, доках, на фабрике».