因为这些人有过‘黑社会’的经历，而被当成了社会治安的边缘人，为宋廷不容，早早遣散了，不得不各自领兵南下讨生活，时而接受招安，时而重操旧业，从守土有责的准革命战士变成了拿跳槽当家常便饭的游寇。
李纲主张剿抚并用，迅速平息匪患，而还在朝中的有些人便以这些人曾为国出力，不可剿只能招抚相辩。而李纲有个认死理的缺点，他便非要在嘴上与人分出高下，辩出个真理来。可他如此正中某些人的下怀，结果朝堂上是嘴仗不休，游寇作乱依旧，事情却久拖不决……
而精兵的事情也遇到了难题，宋朝武官或可称武阶、武阶官、武资等。武官的序列和分类有一个发展与演变的过程。武官与近代元帅、上将以至少尉等军衔有某些相似之处，但也有重大区别。近代军衔仅用于区分军队内部军人品级之高低，宋朝武官却不能等同于军人。大部分的武官，是通过元丰改制前的审官西院和三班院，改制后的吏部尚书右选和侍郎右选，广泛授予各种民政差遣。此类武官按现代的意义，当然不算军官。
“官以寓禄秩，叙位著”，乃是虚衔；“殿前都校以下谓之军职”，乃是实职。宋自三衙长官、四厢都指挥使至都的十将、将虞候、承局、押官之类，都是军职。军职可算是差遣的一类，授予军职的武官，按现代意义，可算是军官。从法制上讲，因军功授官，可以不受人数限制，而军职却往往受编额的限制，不可能滥设滥授。将武官作为军职的加衔，逐步结合，武官系列也逐步溶入军中，与军职有分有合，弄得更为复杂。
而在军队中，官位和军职应当相称，但也存在不相称的情况。军队的战士有时出现使臣、军兵两级制，或使臣、效用、军兵三级制，正是表现了官位与军职的差别。所谓“有官人”，是指低级武官，如使臣之类充当战士。在战时，精壮者可以凭借“请托”，利用拣选制逃避战阵；而在平时，即使实行“拣汰”，却不能除役，反而又增添一倍军士，“耗蠹财用”。由于禁兵、厢兵等存在着复杂的番号军级，也增加了军职迁补的复杂性。
大家谁都知道其中弊端，但是一旦涉及到自身的利益便都叫屈，少一份职事就少一份工资的，而文武间的差距也让些武官不愿放弃文职。他们磨磨蹭蹭的，多次廷议也解决不了问题，赵柽就急了。
兴办武学之事，赵柽已经催了几次，但是都是议而不决，最后不了了之。赵柽知道在崇文抑武的风尚下，宋朝不重视武将的文化，许多军班、军功出身者，可以目不识丁。刘光世还是将门之子，竟不能题名。韩世忠也不能文墨，唯独岳飞努力学习文化，尊敬和亲近文士。
究其根底却是前边的几个皇帝对武将猜忌甚深，其实是将此种行为视为武将的野心虽然设置了武学和武举，却并不供认真培养军事人才之用。赵柽却不想跟他们在磨叽，既然兵部不愿意干，那我就夺了你的权，他立刻任命赵礼为签书枢密院事，以大同讲武堂为基础，扩建军校。
赵礼马上行动起来，仅用月余时间便在西京洛阳分别建起参谋学校、步兵学校、骑兵学校、辎重学校、军医学校和兽医学校，并在登州筹办水军学校，并开始在各军中招收学员，准备年后开学。赵柽当然是大力支持，分别题写了校名，并拨出专款，授权其可在全军挑选教员和学生，毕业的学生等同国子监，成绩优秀者可直接授官。
在整军的问题上，李纲开了几次专题会议，终于达成了统一意见，但是结果却让赵柽大为不满，批了‘放屁’二字打回尚书省重拟，这些人沿袭了过去的历朝的做法，认为骑兵花费过大，而且战斗力低下，应该优先发展步军。
赵柽此举立刻引起朝臣的不满，纷纷上书，引经据典的跟他辩论，但终不离范仲淹的“自古骑兵未必为利”，“沿边市马，岁几百万缗，罢之则绝戎人，行之则困中国”。沈括的“以为契丹马所生，而民习骑战”，而宋朝“利强弩”，“舍我之长技，勉强所不能，以敌其天产，未闻可以胜人也”。
宋祁所说的“损马而益步”，“臣料朝廷与虏相攻，必不深入穷追，殴而去之，及境则止，然则不待马，而步可用矣”。除买马花费重金之外，自五代迄宋，“计一骑士之费，可赡步军五人”，或说“边城一马之给，当步卒三人”，组建和编练骑兵，自然是一项耗费巨大的投资。这些都成为不少士大夫反对加强骑兵建设的重要理由。
朝中大臣们不主张发展骑兵，不过是反映士大夫们战略目光的短浅，而不重视骑兵建设，恰好是宋朝传统的消极防御战略的组成部分。以为宋朝有“马少，又人不习骑”的短处，“每至贼来作过，则朝廷常以所短敌所长，是以十战十负，罕有胜理”，这些在当时当然是有一定道理的。
赵柽立刻予以痛批，不善骑射的状况，是可以通过训练和战争而改进的。辽、西夏、金等举行大规模会战时，往往集中几万以至十万以上骑兵，而步兵仅仅负责运输，开壕堑等项工作。骑兵作为突击兵种，集中使用，可以发挥很大威力。汉武帝派卫青、霍去病等将与匈奴角逐，正是采用组建和集中使用骑兵大部队的战略，得以深入河西，长驱漠北，取得以往使用步兵作战不可能达到的战效。
然而正是宋人却长期沿用以步兵为主的传统战略，不懂得编组骑兵大部队，集中使用的重要性，而将骑兵分散于各个战场、各支部队，作为步兵的附庸。尽管在整体上和总数上，宋朝的骑兵不一定处于劣势或绝对劣势，而在各个战场上或战役中，却一般居于劣势或绝对劣势。所谓“以所短敌所长，是以十战十负，罕有胜理”，实际上即是指这种在战场上或战役中，分散使用骑兵的情况。
总之，正是因为马匹缺乏，骑兵训练差，再加上作战时的分散使用，成为决定宋帝国武运的重要因素之一。如今云州、河中皆是出产马匹的地方，重金买马已经成为过去，中兴军取得的一系列胜利正是对他们无稽之谈的有力驳斥……