年5月，在张鼓峰事件中失败的日军又把视线转向了中蒙边界的哈勒欣河一带，5月11日，日军小部队袭击了蒙古哨所，5月28日，苏日双方发生了战斗。6月2日，刚担任白俄罗斯军区司令不到半年的朱可夫接到命令，要他第一时间赶到莫斯科。国防人民委员伏罗希洛夫让他去远东军区，接任驻蒙古的第57独立军军长。

当时的朱可夫可指挥的部队算上蒙军不过1.25万人，而日军已经集结了3.8万人。7月2日，占有有优势的日军发动了进攻，初期日军进展顺利，他们渡过了哈勒欣河，占领了部分目标。朱可夫以己之长击敌之短，他组织了辆坦克、辆装甲车、90门大炮和全部飞机及其它部队，分三路反攻，依托装甲优势将数量占优的日军击退。7月15日，在苏联统帅部不断增兵下，第57独立军被扩充为远东第一集团军，朱可夫被任命为司令员。此时朱可夫手下已经拥有人、门大炮、辆坦克和架飞机的部队，人数与对面的日军第六军相当，但装甲部队呈压倒性优势。8月20日，朱可夫抢在日军之前发动了突然进攻，到月底，日军第6军基本被歼，日方被迫提出停战请求。

朱可夫在哈勒欣河战役中

在哈勒欣河之战中，朱可夫初露锋芒，他的集中使用坦克的理论在实战中受到印证。他那高超的指挥才能和组织能力在战争中得到了表现。战后，他被召回莫斯科，第一次见到了斯大林，斯大林对他赞誉有加，并授予朱可夫“苏联英雄”的称号。

年，朱可夫提前晋升为大将军衔，并被任命为基辅特别军区司令。在这里，他第一次认识了赫鲁晓夫这位影响了他整个后半生的人，这时的赫鲁晓夫是乌克兰党中央第一书记‘。赫鲁晓夫在他的回忆录里对这次见面有过描述：“朱可夫接替铁木辛哥使人十分满意，他是一位天才的组织者和强有力的领导人。”由于苏芬战役的教训，及远东方面战役的胜利，苏军重新开始重视机械化部队的建设。在此背景下，年1月，大力主张军队机械化建设的朱可夫被任命为总参谋长，3月，他被任命为副国防人民委员。

此时苏德之间战争的阴云已经越来越浓了，朱可夫遵照苏共中央的指示，着手进行苏军的改编工作，组建新的机械化军，并改进军事训练，加强备战。朱可夫的努力是见效的，在总参谋部出色的组织下，苏联各军兵种都有了很大的进步，到战争前边境地区总数师的部队中已有个师达到了满编。可惜的是留给朱可夫的时间太短了，特别是机械化军的组建需要时间。朱可夫接任总参谋长的同时就提出了一个庞大的计划，打算组建20个机械化军，但由于坦克生产能力，直到开战才勉强组建了9个军，就是这9个新组建的军，在初期的作战中起到了巨大的作用。

在纳粹德国进攻的迹象越来越明显的时候，6月13日，朱可夫要求边境部队进入一级战斗准备，此时离战争的爆发不到10天了，斯大林否决了这个建议。直到6月21日晚上已有确切无疑的情报表明德军将在几个小时后开始进攻，斯大林才同意开始作战斗准备，可惜为时已晚，卫国战争在6月22日打响，苏军在初期遭受了巨大的损失。

年7月，西南方面军面临着被德军包围的危险，朱可夫力主放弃基辅，将西南方面军撤到第聂伯河对岸，被斯大林斥为“胡说八道”。性格坚毅的朱可夫不肯退让，他说“如果您认为我这个总参谋长只会胡说八道，那么我请求您解除我的职务，将我派往前线吧。”斯大林于是解除了朱可夫的总参谋长职务。结果很是不幸，基辅战役失利，德军成功打了个世界上最大的围歼战，西南方面军全军覆灭，66万红军被俘，司令员政委都战死，只有朱可夫的同窗好友、作战部长巴格拉米扬率领一支小部队突出了重围。

基辅战役被俘的部分苏军士兵

解除了总参谋长职位的朱可夫被任命为预备队方面军司令员，他指挥部队收复了叶利尼亚突出部，并向西推进了25公里。这是斯摩棱斯克会战中苏军唯一取胜的一次战役。叶利尼亚成为了战争爆发以来第一座被收复的城市。

9月8日，朱可夫回到了莫斯科，斯大林握着他的手当面承认他是对的。并派他前往陷入德军重围的列宁格勒，接任列宁格勒方面军司令员。原来的列宁格勒方面军司令员是老帅伏罗希洛夫，这位国内战争的英雄面对现代化战争已经明显力不从心了，虽然他努力抵挡了冯·莱布元帅的北方军群三个月的猛攻，到9月8日列宁格勒还是不可避免地被完全包围了。当朱可夫抵达列宁格勒时，前线已经一片混乱。认为一切将要完蛋的老帅这时能做的只是到前线去率领波罗的海舰队水兵进行一次自杀性冲锋，希望战死在沙场。

列宁格勒保卫战纪念碑

朱可夫一下飞机就直奔方面军司令部，他作出的第一个决定就是：即使战至最后一人，也要守住列宁格勒。朱可夫的口号是：“不是列宁格勒惧怕死亡，而是死亡惧怕列宁格勒。永远不要考虑列宁格勒一旦失守怎么办，列宁格勒不能失守！”面对唾手可得的城市，德军发动了最后的总攻，朱可夫迅速调整了部署，采取了种种有效的防御措施。年10月6日，朱可夫斯大林报告说，德军的进攻已被遏止，因伤亡惨重而转入防御。

年9月底，德军在莫斯科方向集中了万部队，共75个师、0辆坦克、门大炮、架飞机的庞大兵力，开始了以占领莫斯科为目标的“台风”行动。仅一周时间，德军就突破了苏军防线，将苏军西方面军和预备队方面军的4个集团军合围。数十万苏军将士在维亚济马会战中被俘，莫斯科岌岌可危。在这关键时刻，斯大林首先想到的还是那位“救火队长”朱可夫大将。

朱可夫在一线

10月7日，朱可夫被召回莫斯科，他被作为最高统帅部代表派往前线了解情况、指导作战。朱可夫在前线各处转了三天，掌握了西方面军和预备队方面军的许多第一手情报，他认为必须尽快把这两个方面军的残部合并起来统一指挥，形成新的防线抵御德军。10月10日，斯大林打电话给朱可夫，任命他为西方面军司令员，统一指挥莫斯科前线所有部队。朱可夫立即开始行动，他在莫斯科前面新建了长达英里的莫扎伊斯克防线，并动员了几十万莫斯科人不分昼夜地构筑环绕首都的防御工事。各自为战的西方面军已被冲垮了的部队被朱可夫有效地组织起来，顽强抵抗德军的突击，德军的进攻速度急剧下降。11月7日，在朱可夫的精心部署下，红场上举行了隆重的阅兵仪式，全副武装的红军威武地走过红场，直接开赴前线。

莫斯科保卫战中阅兵方阵从红场直接走到前线

气急败坏的希特勒在11月15日命令从三个方向向莫斯科发起最后的总攻，在顽强的朱可夫指挥下的西方面军将士抵御住了德军的进攻，11月27日，德军抵达了离莫斯科仅24公里的伊势特腊，在这里用望远镜已经能看到克里姆林宫的尖顶了，可德军也已达到了他们的极致，这也是整个战争期间德军到达的离莫斯科最近的地方了。即使在最危急的时刻，朱可夫从未丧失过胜利的信心。在战事最激烈的那天，朱可夫接到了斯大林的电话，斯大林停顿了很久沉重地向朱可夫发问：“你坚信我们能守住莫斯科吗？我是怀着沉重的心情问你这个问题。”朱可夫斩钉截铁地回答说：“我们能守住莫斯科！斯大林同志！”

在斯大林身旁的朱可夫

在得到了两个集团军的增援后，朱可夫开始寻找反击的良机。到12月5日，德军在伤亡了15.5万官兵、辆坦克之后，在战线上停顿下来了，进攻被粉碎了，德军失去了继续前进的动力。机会到来了，第二天，朱可夫的西方面军开始了反攻，到12月底，莫斯科保卫战以苏军的胜利而告终。苏军消灭了50万敌人，德军损失了多辆坦克、门大炮和不计其数的其他物资，战线被向东推进了至公里，这是二战爆发后纳粹德国最大一次失败。

许多年后，朱可夫在回忆中说：“每当有人问我以往战争中记忆最深的是什么？我总是回答：‘莫斯科会战’！”