Начало Великой Отечественной войны генерал-лейтенант Конев встретил в должности командующего 19-й армией.

С мая 1944 г. и до самого конца войны он был командующим 1-м Украинским фронтом, проведя в этой должности успешные действия по разгрому группы «Северная Украина» во время Львовско-Сандамирской операции и захватив Сандамирский плацдарм на левом берегу реки Висла.

Одно из его любимых выражений: «Красота спасет мир, а не артиллерия». И именно поэтому свободное время отдавал искусству.