Северокавказского военных округов. В июле 1941 года получил звание генерал-лейтенанта. В предвоенные годы сталинско-бериевским репрессиям не подвергался.

В годы Великой Отечественной войны генерал И.С. Конев находился на высших командных должностях. Войну он начал в должности командующего 19-й армией Западного фронта, которая участвовала в Смоленском сражении 1941 года. Затем был командующим многими фронтами Великой Отечественной войны: Западного, Калининского, Северо-Западного, Степного, 2-го Украинского и 1-го Украинского.

Как командующий Калининским фронтом Конев участвовал в Московской битве. Его войскам пришлось в середине ноября 1941 года выдержать сильный удар немецкой группы армий «Центр» на стыке Калининского и Западного фронтов. В ходе контрнаступления под Москвой левое крыло фронта генерала Конева нанесло мощный удар армии фельдмаршала Бока на калининском направлении. Бои за город Калинин (ныне Тверь) шли 12 дней и отличались большим упорством.

В начале 1942 года войска Калининского фронта участвовали в новом наступлении, продвинувшись на витебском направлении на 250 километров. Целью операции, в которой участвовало несколько фронтов, был разгром ржевско-вяземской группировки противника. 3-я и 4-я ударные армии Конева успешно продвинулись в глубь вражеской обороны, окружили немецкий гарнизон в городе Холме и завязали бои за Великие Луки, Вележ, Демидов и на рубеже 15 километров северо-восточнее Витебска. В результате успешного наступления Калининского фронта было нарушено оперативное взаимодействие между гитлеровскими группами армий «Север» и «Центр».

В таких условиях немецкое командование значительно усилило свои войска, противостоявшие войскам генерала Конева. Наступление Красной армии на запад было остановлено. К середине февраля войска Калининского и Западного фронтов вследствие больших потерь, нехватки вооружения, острого дефицита боеприпасов, утраты господства в воздухе и измотанности людей свой наступательный порыв исчерпали. Однако Сталин приказал усилить наступление, что привело только к ещё большим людским потерям. Лишь 20 апреля по приказу Ставки участвовавшие в наступлении фронты перешли к обороне.

В Курской битве войска под командованием генерала Конева отличились во время наступления на белгородско-харьковском направлении, участвовали в освобождении городов Белгород и Харьков. В одной из крупнейших битв Второй мировой войны высшее германское командование, осуществляя широкомасштабную операцию под кодовым названием «Цитадель», надеялось переломить ход событий на Восточном фронте. В те дни Конев командовал Степным фронтом, войска которого составляли стратегический резерв Ставки Верховного Главнокомандования и занимали оборонительные позиции восточнее Курского выступа. Здесь была создана система непрерывных траншей и ходов сообщений, противотанковые опорные пункты и районы.

Советское командование опередило неприятеля в начале Курской битвы, нанеся сперва сильный упреждающий удар массированным огнём артиллерии и бомбардировкой с воздуха. Только после этого начались ожесточеннейшие боевые действия на земле. В ходе Курской битвы армии Степного фронта повели наступление на города Белгород и Харьков, которые прикрывала глубоко эшелонированная оборона противника глубиной до 90 километров. Однако уже в первый день наступления советские войска смогли её прорвать на 18 километров.

5 августа 1943 года был освобождён город Белгород и одновременно город Орёл. Вечером того же дня в Москве впервые в истории Великой Отечественной войны был произведён артиллерийский 12- залповый салют из 124 орудий. Советская столица салютовала доблести и победам четырех фронтов — Брянского, Западного, Центрального и Степного. С этого времени салюты в столице Советского Союза в ознаменование крупных побед Красной армии стали традицией.

С октября 1943 года Конев стал командующим войсками 2-го Украинского фронта, которые успешно форсировали Днепр. В ходе трехмесячных боев армии фронта совместно с 3-м Украинским фронтом ликвидировали запорожский плацдарм неприятеля, освободили города Запорожье и Днепропетровск и создали на правобережье Днепра второй крупный плацдарм стратегического значения.

При освобождении Правобережной Украины фронту Конева отводилась одна из главных ролей. В результате советские войска разгромили вражеские группы армий «Юг» и «A», была блестяще проведена Корсунь-Шевченковская операция, в ходе которой было окружено десять германских дивизий. При попытке прорваться из окружения они были полностью разгромлены. Немецко-фашистские войска потеряли 55 тысяч солдат и офицеров убитыми и свыше 18 тысяч пленными. В ходе наступления на Правобережной Украине советские войска продвинулись в западном направлении на 250-450 километров.

В мае 1944 года Конев был назначен командующим войсками 1-го Украинского фронта (в тот год он получил звание маршала Советского Союза). Теперь ему пришлось действовать вместе с другими фронтами против сильной вражеской группы армий «Северная Украина» под командованием генерала И. Гарпе. 1-й Украинский фронт должен был провести Львовско-Сандомирскую наступательную операцию. К началу наступления под командованием маршала Конева находилось 843 тысячи человек, 13900 орудий и миномётов, 1614 танков и самоходных артиллерийских установок, 2806 самолётов. Основную часть этих войск командующий сосредоточил на участках прорыва.

Львовско-Сандомирская операция началась 13 июля Главные силы 1-го Украинского фронта — 3-я гвардейская армия генерала В.Н. Гордова и 13-я армия генерала Н.П. Пухова — успешно прорвали тактическую оборону немцев на Рава-Русском направлении и 18 июля, преодолев Западный Буг, вступили на территорию Польши. Войска фронта окружили под Бродами 8 вражеских дивизий численностью около 60 тысяч человек и после отклонения предложения о капитуляции разгромили их. 27 июля был освобождён город Львов.

За 15 суток наступления войска 1-го Украинского фронта продвинулись на глубину до 200 километров в полосе шириной 400 километров. Немецкая группа армий «Северная Украина» оказалась рассечённой на две части: одна из них по польской территории откатывалась к реке Висла, другая — в Карпатские горы.

После этого армии маршала И.С. Конева вышли к берегам Вислы и форсировали эту реку, захватив ряд плацдармов. Особенно важным, как показали дальнейшие события, оказался плацдарм у города Сандомира. Гитлеровское командование настойчиво пыталось ликвидировать его, но натолкнулось на стойкое сопротивление четырех советских армий, в том числе двух танковых.

После успешного проведения Львовско-Сандомирской операции 1-й Украинский фронт участвовал в Восточнокарпатской наступательной операции. Ему предстояло через перевал Дукла прорваться на территорию Чехословакии и соединиться там со словацкими повстанцами. В боях участвовал 1-й чехословацкий корпус генерала Людвига Свободы.

На заключительном этапе Великой Отечественной войны армии 1-го Украинского фронта под командованием маршала Конева участвовали в трех крупных наступательных операциях — Висло-Одерской, Берлинской и Пражской. В боях на польской территории Коневу довелось взаимодействовать с таким прославленным советским полководцем как маршал Г.К. Жуков — их фронты наступали на берлинском направлении.

По решению Ставки Верховного Главнокомандования 1-й Белорусский и 1-й Украинский фронты составили мощную ударную группировку советских войск, насчитывавшую более 2,2 миллиона бойцов, более 37 тысяч орудий, миномётов и реактивных установок — знаменитых «Катюш», свыше 7 тысяч танков и самоходных артиллерийских установок (САУ), 5 тысяч боевых самолётов. Это составляло одну треть орудий и миномётов, более половины танков и САУ, одну треть самолётов всей действующей Красной армии.

Двум советским фронтам противостояла немецкая группа армий «A», имевшая в своём составе лишь около 560 тысяч солдат и офицеров, до 5 тысяч орудий и миномётов, 1220 танков и штурмовых орудий. Её поддерживало с воздуха 630 самолётов. Но при таких силах гитлеровское военное командование рассчитывало задержать наступление войск противника на хорошо подготовленном рубеже обороны между реками Висла и Одер. Оборонительные рубежи проходили преимущественно по берегам водных преград.

1-й Украинский фронт перешёл в наступление первым, 12 января 1945 года. Встретив сильное сопротивление неприятеля, маршал Конев ввёл в сражение две танковые армии и три танковых корпуса.