抗日战争时期，共产党在山东领导的抗日武装力量主要由三部分组成： 一是山东土生土长的抗日游击兵团——八路军山东纵队。全面抗战爆发后，中共山东地方组织领导全省人民广泛开展抗日武装起义，成立了多支抗日武装，如八路军山东抗日游击第四支队、山东人民抗日救国军第一军、八路军鲁东抗日游击队第八支队等。 1938年12月27日，八路军山东纵队成立，统一指挥山东各地起义武装（不含冀鲁边及鲁西北地区）。所属部队整编为10个支队及3个团，共2.45万人，另有所属地方武装1万余人。1940年9月，山东纵队开始进行第四次整军。整军后辖4个旅、4个支队和2个直属特务团，共有5.4万余人。 二是八路军第129师。1938年7月，由八路军第129师工兵连扩编组成的津浦支队，协同第115师第5支队东进冀鲁边区。其后，津浦支队和筑先纵队等鲁西北抗日武装归第129师先遣纵队指挥。 三是八路军第115师。1938年9月，第115师政治部副主任萧华率第343旅的百余名干部到达乐陵。1939年3月，陈光、罗荣桓率第115师师部及第343旅第686团进入鲁西地区。1939年8月1日，八路军第一纵队正式成立，徐向前任司令员，朱瑞任政委，统一指挥山东和苏北的八路军各部队。第115师入鲁后得到很大发展。根据八路军总部的批复，自1940年10月至1941年1月，第115师将所属部队先后整编为7个教导旅共18个团，计7万余人。 1942年1月，中共中央军委指示山东纵队司政机关改为山东军区司政机关，第115师统一指挥山东所属部队。8月1日，山东纵队正式改为山东军区，山东军区归第115师指挥。1943年3月，中共中央军委决定成立新的山东军区，保留第115师的番号，罗荣桓任军区司令员兼政委、第115师师长兼政委。 新山东军区辖鲁南、鲁中、胶东、清河、冀鲁边、滨海6个军区，各军区共辖12个军分区及13个主力团。1945年8月，山东军区决定将各军区与基干武装编成山东解放军野战兵团，共8个师、11个警备队和4个独立旅，连同地方武装共27万余人。
