阿南惟几吸取了第一次长沙会战的教训，并没有一上来就投入大量的兵力进攻湘北主战场，而是最先向新墙河以北的大云山地区发动进攻，以试探中国军队的虚实。
大云山位于湖南北部岳阳市所属的岳阳县和临湘市交界处，属幕阜山西北支，自古为江南名胜，道家洞天，志称盘旋七十二峰，海拔9111米。这大云山往南数公里便是长沙门户新墙河,自武汉失守之后，这里就成了第九战区的重要前进阵地之一。
由于大云山地理位置的特殊性，易守难攻不说，距离日军的势力范围还比较近，于是薛岳就把这里当做第九战区的一个前沿观察哨，并且派重兵驻守这里。得知日军准备发起第二次长沙会战，第九战区紧急向大云山增派了守军。
除了山顶由第4军1个加强营守备以外,其西侧还有第4军第102师和第306团,东侧为第58军新编第11师的1个步兵营，总兵力约为五千八百余人，另外这里还驻有一个加强机枪连。鉴于日军活动频繁，第九战区司令部命令第4军立即对对面的日军进行密切监视，必要时可以派出小部队向日军后方袭击,破坏其交通设施。
大云山紧靠新墙河战场，第四军的小部队袭扰令日军极为不安，日军第11军司令部经过商议，认为大云山的存在已经严重威胁到了大日本皇军的侧翼安全，为了保证“加号作战”计划的顺利实施,掩护第十一军主力向新墙河以北集结,阿南惟几命令原在岳阳地区担任守备的第6师团对大云山进行扫荡,解除这一侧后威胁。
1940年11月4日晨,日军第6师团第23、第45联队在航空兵支援下从忠坊向大云山北侧雁岭、詹家桥展开进攻,遭守军阻击后向东南侧迂回;其第13联队向大云山西侧进攻,与守军第102师发生激战。
同时、第九战区第27集团军还侦察到鄂南咸宁地区日军第40师团有向湘北调动的迹象,作为老对手，他们对日军的一举一动还是比较清楚地，因此判断第40师团背上肯定是为了与第6师团换防,日军向大云山的进攻,是换防前的例行攻势。
为了确保大云山方向的安全,11月4日上午十点整，第九战区命令第58军派出部队协同第4军作战,并命令第20军准备从通城向西侧击日军,乘日军换防时给以打击。
对于日军第6师团，第九战区向来是比较忌惮的的，这个日军师团日本陆军的一个甲种师团，是日军在二战爆发前17个常备师团之一，装备较精良。战斗作风野蛮彪悍，尽管在历次与中国陆军的对阵中屡次遭到重创，但是其战斗力却并没有下降多少。
这次第六师团主力抵达大云山东侧之后，便迅速向东侧的守军展开猛烈进攻,大云山东侧的守军仅有第58军新编第11师的1个步兵营，兵力不足400人，面对日军第六师团的进攻，守军虽奋力抵抗,但因日军兵力、火力均处于优势,堵击无效,乃弃守大云山阵地。
日军在占领东侧阵地之后。以此为据点，向山顶以及西侧阵地发动猛攻，甚至还调来航空兵协同作战。激战一昼夜，守军损失惨重，但是让然坚守阵地。
次日，第六师团主力一部在装甲车的掩护下向大云山西侧阵地发动进攻。然大云山海拔虽然不高，但是地势却很险峻，日军的装甲车只前进了不到300米就被阻于阵地前沿，在损失了20余辆战车之后日军不得已停止了进攻。
然而日军第六师团师团长神田正种中将对于第六师团的表现极为不满，当场勒令一个进攻不力的小队长剖腹自尽，同时授权前线部队可以使用特种弹。尽管在日本政府与陈锋所部签订的协议中，双方在战场上都严禁使用特种弹。但是这个协议也就是在北方执行的还算比较彻底，日军一般不敢使用毒气弹和其它脏弹，以防遭到陈锋所部的报复。
但是在华中华南地区，这个协议就没那么管用了，虽然不到万不得已日军也不会使用毒气弹，但是由于缺乏监督，一旦进攻不顺利，日军还是会铤而走险。故态萌发的。
对此，不管是国民政府还是陈锋都是一点办法也没有，日军一旦决定使用毒气弹，为了不被抓住把柄，往往会不惜一切代价消灭证据的，所以即便是知道日军使用毒气弹，也很难收集到他们的证据。
在毒气弹的协助下。日军终于攻占了大云山西侧的阵地，鉴于日军来势凶猛，第四军不得已只得命令山上的部队后撤，弃守阵地。大云山失守。
大云山只是一个前沿据点，虽然极为重要，但是距离主战场比较远，根本不适合长期驻守。所以日军攻占这里之后并没有派部队把守，而是命令工兵部队对山上第九战区修建的工事进行了彻底爆破，随后日军便撤离了大云山。
第6师团主力完成扫荡任务后,便向桃林方向集结,准备执行下一阶段关于进攻湘北的作战任务。但是其第13联队却在甘田、团山坡附近被中国第102师和第59师一部所阻,陷于苦战。
与日军第13联队作战的这两个师都是第27集团军的骨干部队，这个第27集团军战斗力虽然不是很强，在国民政府所有的40多个集团军里面只能算是中等偏下，但是这个集团军继承了川军一贯的硬气，打仗颇为勇猛。
而第二十七集团军总司令又是一个身经百战的老军阀，此人虽然在所有军阀当中名声不佳，但是抗战之决心却是川军中最为坚定的。1937年全面抗战爆发后，杨森就请命率部徒步行军出川抗日，编属于老虎将薛岳的第十九兵团，后来薛岳升任第九战区司令，其部即归属于第九战区，杨森所部也就被划归了第九战区。
杨森在此期间浴血抗日，立下了多次战功，华中地区所有的大战几乎没有他不参加的，他率领的这支川军参加了淞沪会战、武汉会战、长沙会战等多次战役。其麾下的部队虽然装备不足，缺乏弹药、给养和医疗设备，大冬天士兵脚上穿的还是草鞋。
但是杨森部刚出川即赴上海参加淞沪抗战，全军在大场血战5昼夜，守住了阵地，直到韦云淞的31军和叶肇的66军接防。而所率川军18000余人，伤亡高达7000余人，杨森所属之部是淞沪会战中除装备德国武器的王牌师中央军88师、税警团直属队外最能打的部队，被评为淞沪战场最能打的5个师之一，蒋介石立即下令优先给予补给换装。
这次会战虽然说是薛岳作为总指挥，但是抗敌的思路却是杨森与罗卓英提出的，所以杨森极为重视，他可不愿意自己再被老蒋点名痛骂了，那句“轻弃名城，腾笑友邦”的评语时刻萦绕在他心头。
在得知第四军将大云山主阵地丢了之后，杨森当即电告第四军军长欧震和第59师张德能：“大云山可以丢，但是第四军决不能撤，不但不能撤，还得想办法拖住日军的脚步，为战区部署争取时间，拖住日军第六师团一个星期，第四军可记一功，反之欧震和张德能自己和军委会解释吧！”
在杨森的高压下，第59师以及配合作战的102师死死咬住日军第13联队的尾巴，双方打得不可开交。第13联队加以配合作战的炮兵第四大队合计4600余人被阻于甘田、团山坡一线，面对一万四千余中国/军队的围攻，日军倍感力不从心，不得已只得给神田正种中将发报，请求师团部给予作战指导。
接到第13师团的求援电报之后，神田正种不敢怠慢，在经历过多次帝国陆军被成建制消灭之后，日军的高级将领们现在也变得谨慎了，之前那种不可一世的狂躁不见了，他们终于把中国人当成了真正的对手看待，不知道中国.军队此时该是高兴呢还是悲哀呢？
第六师团主力立即前往甘田、团山坡一线增援第13联队，趁此机会，第58师收复大云山阵地,而此时第九战区向大云山增援的第37军第60师亦已到达战场,第27集团军遂命新编第10师、第59师、第60师在日军第六师团主力赶到战场前包围并歼灭当面日军第13联队,定于次日拂晓开始攻击。
然而,正当这3个师与第13联队激战时,由咸宁西进的日军第40师团重松支队取小道赶到甘田,将包围圈中的第13联队救了出来，然后向草鞋岭撤走。随后,中国军队向草鞋岭方向追击，并且对重松支队展开进攻,双方在草鞋岭的狭小区域内互相争夺,伤亡均重，战局随即陷入胶着状态。
