刘黑七也是叫苦连连，原本以为鲁南比鲁中富庶，没想到敌军的抵抗竟会如此激烈，柳镜晓也紧急调动黄羊和老洋人来支援，他们在匪队高呼：“我是黄羊啊……弟兄们，你们跟着刘黑七是没有出路的……”

匪军已是疲惫不堪，许多匪众干脆离队而去，刘黑七一咬牙，用大刀砍死四个想要叛逃的匪众，然后带队一出南奔，硬生生让他冲出山东省境，窜入江苏海州。

李定远前度兵败日照，元气大伤，幸亏柳镜晓也没精力来解决他，因此李定远在那只顾着看好戏，没想到刘黑七竟窜至赣榆，打开县城大事劫掠。

柳镜晓面子也挂不住了，这刘黑七从鲁北流窜鲁南，烧杀劫掠无恶不作，自己前后动员三旅之众，耗用军费三百余万，竟让这刘黑七窜出省境，一气之下，柳镜晓竟要通电辞去十七师师长之职，亲率一支精锐围剿刘黑七。

各方纷纷挽留，就连段铁民都复电请柳镜晓暂时协助地方治安，谁都知道柳镜晓那是在演戏，柳镜晓这才亲自到鲁南督战，又开了一次临战会议，这一次柳镜晓可是带了上百万军饷南下，对干部们拍着胸膛说道：“我这个作师长的，就等着你们立功的时候了！”

柳镜晓使的是胡萝卜加大棒战术，同时宣布作战不力者就地免职，擅自退却者军法处事，官兵们一路风餐露宿，也是一战解决刘黑七。

刘黑七这一路来，只攻开了几个小镇子，一个县城一个也没打开，匪部是又困又累，在赣榆县城休整了两日，又强抓了不少肉票，士气这才复援。

只是此时匪部收拢起来，也不过五六千人，最精锐的黑马队虽经多次补充，现下只余三百余人，而李定远也率着部队反攻赣榆，他一咬牙，只能再度北进。

他的计划自海州沿日照北窜至昌乐，意图越过潍县劫车，匪队行动到青凤即岭被当地保安队发现，众匪回窜安邱县景芝镇一带，分住二十余村，雹泉镇驻扎大队匪兵，刘黑七就驻此村。

刘匪既已显露行踪，柳镜晓当即派兵会剿，司马勘部探得刘匪所在，当即全团轻装，由向导带路直奔目的地；拂晓前越过刘部防御点攻入刘部中枢，刘匪不支，刘黑七骑马突围，途中被伏兵击中左臂，后化装成商人，逃亡周村，转逃天津石家胡同疗伤。

匪部则被歼，此战俘获了许多热河人和察哈尔人，安邱县监狱住不下，柳镜晓令安邱县长从速从重审理。

仅安邱县斩杀刘部校尉级数百人，许多当上小官的勤杂人员也很少幸免，场面十分血腥，安邱县长审理此案后，神经失常。

不过经此一役，数万刘匪化作乌有，只有少量残匪流窜各地，已是不成气候，而借这剿匪之机更加强对各地的控制力度，因此刘部溃灭对于柳镜晓是大好消息。

山东受匪害甚烈，刘匪溃灭，省内可得数年安宁，因此各地贺电不绝。就连在外旅居的鲁省人士也得闻家乡匪乱已定，也一致通电请柳镜晓就任山东督军。

柳镜晓却没有就任山东督军的意愿，不过也有意外之喜，山东人在外作官的为数不少，直鄂两系都有一批山东将官，柳镜晓这时候就唱出了一出“山东自治”的高调，鲁籍将领不愿家乡受害，因此一致通电联名要求山东与各省订立互不侵犯条约。

为了家乡着想，这时候大伙儿的想法是超越政治派别的，柳镜晓一方面扣留中央税款，一方面摆出一副和平姿态，而直鄂两军都没有余力进攻山东，对此也就默认了。