朝廷让刘怀慎率军入境的旨意颁至，胡藩已先行得到杨安玄的命令，与冯冲率领兵马先行离开临沂城，将阳城、东安等占领的琅琊郡城池都让出，退到北冀州东莞郡东莞城(今山东临沂市沂水、莒县北部一带)中。
刘怀慎得知雍军退走，命人进入临沂、阳都(今山东沂南县砖埠镇一带)、东安(今临沂市沂水县、沂源县一带)，前去接收的兵马回禀，胡藩撤走时将府库中的钱粮布帛搬运一空，愿意随同雍军撤走的官吏百姓也随之离开。
刘怀慎命人从彭城调运粮食到来，他预想到雍军虽然让开道路，但不一定会让自己顺利到达广固城，进入北冀州恐怕凶多吉少。雍公一再上疏强调北冀州境内匪患丛生，恐怕就是想学微山湖的水匪一样，借盗匪之名对付自己。
刘裕从建康发来急信，命刘怀慎先驻于琅琊郡开阳城，修筑好进广固城沿途的城垒，徐徐入北冀州。
当年刘裕伐(南)燕时，从下邳开始沿途修筑城垒，时过四年多，这些城垒多数荒弃倒塌。刘怀慎命人修复好琅琊郡内的城垒，接着派出役夫进入东莞郡修复城垒，结果第二天便遇到了盗贼，护卫的兵马被逐散，役夫掳走，城垒捣毁。
刘怀慎大怒，以北冀州刺史的身份下令，严令别驾胡藩和司马郭清尽快扫平境内匪患，从东莞城到广固城，每隔二十里便要筑起一处城垒。
胡藩回文，三月正是农忙之时，不好征役，等七月秋收之后的再说。
刘怀慎向朝廷上疏，以怠慢军机为由撤换胡藩和郭清，刘裕被朝廷授以“都督中外诸军事”，以朝廷的名义将胡藩、郭清撤职。
杨安玄怒不可遏，命胡藩严阵以待。等新任别驾朱平带着千余兵马入境前往广固城，行至半途被盗贼劫杀。
盗贼杀死朱平之后，并没有消失，而是继续南下，将东安、阳城一线修筑的城垒尽皆捣毁，掳走驻守的官兵。
刘怀慎闻讯从开阳城杀出，盗贼往西北方向逃往蒙山，刘怀慎不敢进山搜索，只得怏怏回师。
鲁郡、泰山郡成为宋公刘裕的封地，刘裕派往两地的属官入境后同样不知所踪，建康城内风声鹤唳，多数人以为雍公很可能挥师南下，同宋公争夺天下。
东堂，看到刘裕脸色发青，司马德文暗暗心畅，反正这天下实际上已经不是司马氏的了，闹吧，打吧，越乱越好。
廷议决定由都兵侍郎蔡秀接任北冀州别驾，还没等出发，蔡秀便上疏称病，气得刘裕当场将他免官让其回家养玻
雍公杨安玄上疏为北冀州别驾胡藩等人辨争，认为胡藩等人并无过错，北冀州盗贼蜂起是因为刺史刘怀慎胡行乱为，请求朝廷贬谪刘怀慎，任命胡藩为北冀州刺史，并严斥宋公刘裕。
这其间，濮阳、蓼城两个榷市的市令却带着十几名随从通过“匪患”丛生的兖州和北冀州境内安然上任，原本不敢往来的商贾大着胆子走了走，居然安然无事，一个盗匪也没遇上。
于是，北冀州的官道恢复了以往的热闹，连挑夫走卒都知道那些盗匪是专门针对朝廷的官兵的。刘裕得知后气得破口大骂，“安玄小儿欺人太甚”。
可是明知杨安玄不让刘怀慎上任，刘裕也无可奈何，总不能让刘怀慎冒险赴任，拼个你死我活吧。此时江陵、南益州尚在打仗，国库的储备不足，刘裕哀叹打不起仗。
于是，刘裕只得命刘怀慎以北冀州刺史的身份驻于琅琊郡开阳城，在琅琊、彭城、下邳一带屯粮练兵，准备北伐。
将朝政委与刘穆之、徐羡之等人，刘裕自己带了谢晦、傅亮、沈田子等人前往京口，派谢晦前往广陵一带、沈田子前去三吴之地募兵，傅亮则前去督造船只，准备三年之内新募兵马八至十万，增加战船六百艘。
届时，朝廷有兵马二十余万，战船接近三千艘，加上郡军、屯军二十余万的数量，刘裕信心满满可与杨安玄决一死战。
刘裕招兵买马，杨安玄也没有闲着，将平姚秦所得的秦国俘兵一万多人从屯军中挑出，分散派往兖州和北冀州；灭仇池得俘兵八千余人也被打散派往司、兖、北冀、北青等地。
灭仇池后，杨安玄命秦州刺史蒯恩将仇池百姓迁往梁州，转从梁州、北雍州、司州、雍州等地招募百姓入秦州阴平和武都两郡，凡愿往者每丁授田一百五十亩。
按照朝廷规制，每男丁才授田七十亩，这是翻了倍，报名前往的人不少，不少人家分了家，让次子或庶子前去仇池。
阴平、武都新归版图，以前仇池的官吏杨安玄不打算留任，从各州征募了一批官吏入秦。凡愿往阴平、武都为官之人吏转为官，官升一级，没想到应者如云，看来有机会当官再偏远的地方也有人愿去。
得知刘裕大举征兵，杨安玄来到参谋部与众人商议应对之策。雍公府大堂东侧的三处宅院，连通之后有四十六家官廨，作为参谋部的官廨。
参谋部设掌事一人，王镇恶；设左、右丞为佐，左丞由赵田兼任，右丞则让原天水郡太守高长庆担任。
夺回天水郡后，高长庆再度表达了愿回家乡养老之意，杨安玄见高长庆心意已定，让高长庆将答应部落的粮食发放到位后便回襄阳，天水郡太守之职暂由岑明虎兼任。
孟龙符得到杨安玄的命令，从长安城将粮食运往冀县，高长庆归心似箭，召集部族头人将粮食分派好后便匆匆回了襄阳。
匈奴少年颉伯贺听说高长庆要回晋国，恳求跟他一起来襄阳。高长庆很喜欢颉伯贺的机灵，便带了他一起回了襄阳。
参谋部除掌事、左右丞外，其他人皆称参谋，职同雍公府参军，有的人直接是兼任。
杨安玄从军中挑选了些年岁大、经验丰富的将领充实其中，姚秦、南燕甚至谯蜀的降将有不少也成了参谋。参谋之下有令史、书佐这样的小官吏操持着具体事务。
杨安玄与王镇恶商量，以后还要扩大参谋部的规模，从军中征调将领前来参谋部进修，增强普通将领的指挥能力。这点建议王镇恶是竭力赞同，这样一来有个十数年，军中将领便多成为他的学生了。参谋部重地，院门前有六名兵丁日夜值守，防备森严。议事大堂跟雍公府大堂差不多大小，里面摆放着沙盘，悬挂着舆图。
屋东北角有个橱柜，里面放着十几种茶叶罐，这是杨安玄体贴参谋部的参谋们多数年岁较大，让他们一边议事一边品茗。