1941年7月，調任山東縱隊第五旅參謀長。參加由旅首長指揮的反“掃蕩”，反投降戰(zhàn)役和戰(zhàn)斗。1942年4月，為迎接友軍山東保安團第一旅姜黎川部從膠南山區(qū)越過膠濟鐵路日偽和頑軍的重層封鎖線來膠東整訓。他奉命指揮第十四團、旅特務營（欠一個連）；騎兵營去膠濟路北平（度）膠（縣）高（密）平原敵戰(zhàn)區(qū)完成這一任務。四月十九日晚，他以十四團二營在地方武裝配合下佯攻丈嶺（北度東北）頑軍膠東反共頭子趙保原部平度保安團，主力長途奔襲在日偽和頑軍據(jù)點林立中的李付莊（平度南）趙保原部特務第二團。創(chuàng)造了僅以兩個多小時、傷亡二十一的代價，在平原敵戰(zhàn)區(qū)政占圍堡全殲守敵一個整團七百余人的戰(zhàn)例。打開了南海局面，并為五龍河戰(zhàn)役創(chuàng)造了條件。隨即參加了五月中旬的五龍河戰(zhàn)役。于五月十九日，在長途追擊中以一個團（十四團）在敵占區(qū)萊陽昌山院伏擊并潰趙保原三個主力團另一個營和護送趙部的日偽軍的戰(zhàn)例，同時，五月二十日，協(xié)助旅長吳克華指揮強攻左村，殲守敵兩個整團的戰(zhàn)斗；勝利結束了五龍河戰(zhàn)役。

1942年7月1日，膠東軍區(qū)成立，許世友任司令員，林浩任政治委員，他任參謀長。參加了軍區(qū)反擊頑軍游擊第六縱隊秦毓堂部的戰(zhàn)役。八月三日，軍區(qū)首長指揮第十六團、第十七團，在海陽留格莊首次用坑道爆破殲滅秦部第十七支隊后；他又奉命指揮東海軍分區(qū)和第十七團相機奪占滕甲莊,殲滅秦毓堂主力第十六支隊和六縱隊后方及游擊第五縱隊一個支隊的戰(zhàn)斗.九月十一日,當日、偽軍和趙保原聯(lián)軍迫冠滕甲莊解圍，守敵準備內外配合夾擊他軍時，他軍突然以外部爆破開敵人圍堡，迅猛強攻，守敵除百余人漏網(wǎng)外，其余全被殲滅，生俘二千五百余名，為膠東在一個戰(zhàn)斗中俘敵最多的戰(zhàn)斗，也是膠東第一次成功地用外部爆破奪占圍堡的戰(zhàn)例，并解放了海陽縣城，肅清了在東海軍分區(qū)的頑軍部隊，同年十一、十二月，參加了粉碎日寇對膠東區(qū)的空前大“掃蕩”—即“拉網(wǎng)大掃蕩”。

1943年初，五旅準備機動，他調回五旅任參謀長，接著主力地方化，五旅機關與軍區(qū)機關合并，回膠東軍區(qū)司令部改稱參謀處長。同年七月，奉山東軍區(qū)（一一五師）命令由他率一個主力營，在濱海軍區(qū)部隊配合下，開壁膠東到濱海樞紐諸（誠）膠（縣）高（密）邊搞日游擊根據(jù)地，被任命為黨的諸膠高工委書記，并從膠東軍區(qū)和濱海軍區(qū)各抽調一部主力組成。濱海第二隊任支隊長兼政治委員，經(jīng)過艱苦復雜的斗爭，勝利完成了“把膠東這把刺刀上在槍上”的任務。

1944年2月，返回膠東后，立即投入了對日寇局部反攻和同膠東乃至山東最大股投降派軍隊趙保原部的決戰(zhàn)準備工作，同年在軍區(qū)發(fā)動秋季攻勢后，奉命指揮第十六團三營拔除日偽在他膠東腹地的堅固據(jù)點。“掃蕩”時的屯兵基地牟平縣的水道，這是膠東秋季攻勢的重點戰(zhàn)斗。打好了可收到“打一點、跑一片”的效果。八月十四日，在東海軍分區(qū)打援部隊的配合下，他們強攻水道據(jù)點。全殲守敵日軍一個小隊三十八名，生俘十名，迫使偽軍兩個中隊投降，是當時膠東在一個戰(zhàn)斗俘日軍最多的戰(zhàn)斗。戰(zhàn)后，東海地區(qū)有千多名偽軍反正，并撤退了包括文登、榮城兩座縣城在內的五十五個日偽據(jù)點，大大改善了東海分區(qū)的形勢。

1945年2月11日（除夕之夜），參加了由軍區(qū)首長林潔，吳克華指揮的五個團另五個營的兵力同趙保原主力決戰(zhàn)的頑底（萬第）戰(zhàn)役，經(jīng)過一周激戰(zhàn)，斃傷俘敵一萬二千余名，趙保原主力基本被殲，趙逆率殘部婁百人逃到即墨。從而剪除了膠東日寇的羽翼，清除了膠東軍民堅持抗敵與準備反攻的障礙，戰(zhàn)后，他任南海軍分區(qū)司令員，到青島至高密的膠濟鐵路東段開展任務艱巨的平原游擊戰(zhàn)爭。同年七月，與十三團和西海軍分區(qū)部隊先后發(fā)起的平（度）西和膠（邑）平（度）邊的討逆戰(zhàn)役，均取得了勝利。八月。蘇聯(lián)紅軍對日宣戰(zhàn)，他軍進行大反攻時。被任命為山東警備第五旅旅長，仍兼南海軍分區(qū)司令員。隨即與五師一部向青島和膠濟路東段大反攻。九月十日，協(xié)同五師十三團、六師 一個營強攻據(jù)守平度拒不投降之偽華北治安軍第八集團軍王鐵相部，（這是全部日械裝備的偽軍正規(guī)部隊），敵偽第二師張松山部發(fā)起強攻，將其全殲，俘偽軍六千余人，這是膠東大反攻以來殲敵最多，繳獲最大的一次戰(zhàn)役，使膠東除青島、濰縣以外全部解放。膠東國民八年投戰(zhàn)共作戰(zhàn)七千五百九十余次斃俘日偽和投降派官十三萬四千余人。

日寇投降后，他一一五師和山東軍區(qū)主力大部渡海去東北由新四軍兼山東軍區(qū)，他仍任旅長兼軍分區(qū)司令員的職務。此時，美軍在青島登陸，并幫助國民黨從大后方向山東運兵，同時國民黨將偽軍改編為第三十二軍和地方團隊；準備大規(guī)模內戰(zhàn)。1945提11月14日，國民黨第八軍在青島登陸，即沿鐵路向西進攻企圖打通膠濟鐵路，同他南海部隊作戰(zhàn)，破壞停戰(zhàn)協(xié)定。他膠東軍區(qū)于1946年6月，由南海部隊和五師協(xié)同發(fā)起膠濟鐵路東段反擊戰(zhàn)役，自六月八日至十八日，五師 連克膠縣、高密，殲滅頏軍暫編第十二師趙保原部兩個團和師直屬隊及一些保安團隊，趙逆被擊斃。南海部隊加克藍襯、即墨，殲敵一個保安旅和趙保原第三團及一些保安團隊。此役，共殲敵近萬名。隨即在即墨附近同國民黨新運抵青島之第五十四軍激戰(zhàn)，給敵以沉重打擊，但九團（后改南獨一團）強攻篡山戰(zhàn)斗，因種種原因未能奏效。九月底，國民黨第三十二軍偷襲即墨靈山，由于兄弟部隊疏忽靈山失守，九團倉促反擊未獲成功。十月二日，由十三團反擊將守敵二千余名全部殲滅，于是由九團擔任靈山守備。這時國民黨第四十六軍又在青島登陸，并在平度南同南海部隊對峙。1947年2月，膠東主力參加萊蕪戰(zhàn)役時，國民黨第三十二軍以一個加強師再度向靈山進攻，企圖把他膠東主力拖回或破壞他后方。遭南海部隊頏強投擊，激戰(zhàn)三日，將其全部擊潰。完成了保證主力機動、掩護膠東領導機關的任務。1946年底，他又兼任中共南海地委書記和兼軍分區(qū)政治委員。