В 1921 году Гроссман окончил школу и до 1923 года жил с отцом и учился на подготовительном курсе Киевского высшего института народного образования, затем перевёлся на химическое отделение физико-математического факультета 1-го Московского государственного университета, которое окончил в 1929 году. В январе 1928 года он женился на Анне Петровне Мацук, но некоторое время супруги жили раздельно (он — в Москве, жена — в Киеве). Три года работал инженером-химиком в Макеевском научно-исследовательском институте по безопасности горных работ и заведовал химической (газово-аналитической) лабораторией на угольной шахте Смолянка 11 в Донбассе, затем старшим научным сотрудником химической лаборатории в Донецком областном институте патологии и гигиены труда и ассистентом кафедры общей химии в Сталинском медицинском институте. В 1933 году переехал с женой в Москву, где поселился в семье старшей сестры матери Елизаветы Савельевны Алмаз и стал работать старшим химиком, а затем заведующим лабораторией и помощником главного инженера на карандашной фабрике имени Сакко и Ванцетти.

Литературной деятельностью Василий Гроссман занялся в конце 1920-х годов и уже в 1928 году отослал один из своих первых рассказов для публикации в «Правде». В это же время он сделал выбор между научной работой и литературой — в пользу последней (подробно свой выбор он обосновывал в письмах этого периода к отцу). В апреле 1934 года в «Литературной газете» был опубликован рассказ о Гражданской войне «В городе Бердичеве», ставший дебютной художественной публикацией писателя. В том же году при поддержке Максима Горького опубликовал в газете «Литературный Донбасс» повесть из жизни шахтёров Донбасса «Глюкауф». Успех этих произведений укрепил Гроссмана в желании стать профессиональным писателем. В 1935, 1936 и 1937 годах издавались сборники его рассказов, в 1937—1940 годах — две части эпической трилогии «Степан Кольчугин» о революционном движении от 1905 года до Первой мировой войны.

В 1933 году была выслана из Москвы, а в 1936 году повторно арестована по обвинению в троцкизме и осуждена на три года ИТЛ его двоюродная сестра, сотрудница Профинтерна Надежда Моисеевна Алмаз (1897—?), дружба с которой оказала на него большое влияние после переезда в Москву. Гроссман оказывал ей материальную поддержку всё время её пребывания в ссылке. В 1933 году он расстался с первой женой и в октябре 1935 году поселился с Ольгой Михайловной Губер (женой его близкого друга, писателя Бориса Губера) в Серебряном переулке у её сестры Евгении Михайловны, пока в 1937 году супруги не получили отдельную квартиру (их брак был оформлен в 1936 году).

Военный корреспондент

Летом 1941 года Василий Гроссман был мобилизован в Красную армию, ему было присвоено звание интенданта 2-го ранга. С августа 1941-го по август 1945 года служил специальным военным корреспондентом газеты «Красная звезда» на Центральном, Брянском, Юго-Западном, Сталинградском, Воронежском, 1-м Белорусском и 1-м Украинском фронтах. В 1942 году написал повесть «Народ бессмертен», ставшую его первым крупным произведением о Великой Отечественной войне.

Во время немецкой оккупации города Бердичева мать писателя Екатерина Савельевна была переселена в гетто и 15 сентября 1941 года расстреляна в ходе одной из акций уничтожения еврейского населения в Романовке. До конца жизни писатель писал письма своей погибшей матери. Её история будет отражена в посвящённом ей романе «Жизнь и судьба»: мать Виктора Штрума тоже будет убита нацистами при уничтожении еврейского гетто. Жившая на протяжении 1930-х годов с Екатериной Савельевной в Бердичеве единственная дочь писателя Екатерина в начале июня 1941 года была отправлена в пионерский лагерь и с началом боевых действий вместе с матерью, сёстрами и отчимом эвакуирована в Ташкент.