同年，湟中（今甘肃湟原）胡人北宫伯玉和先零羌起事，共拥边章、韩遂为帅，攻杀护羌校尉泠徵、金城太守陈懿。
公元185年（中平二年），北宫伯玉等人侵三辅地区，朝廷诏令皇甫嵩回镇长安，保卫皇家园陵。
当初皇甫嵩征讨张角时，途经邺地，发现中常侍赵忠住宅超过了规定，便上奏皇帝予以没收。
另外，中常侍张让向他索要五千万钱，他不肯给。于是赵忠和张让联起手来，劾奏皇甫嵩连战无功，耗费钱粮。
灵帝听信谗言，召回皇甫嵩，收回他的左车骑将军印绶，削夺封户六千。改封都乡侯，食邑二千户。
公元188年（中平五年）十一月，凉州人王国包围陈仓（今陕西宝鸡东），在此用人之际，汉灵帝又任命皇甫嵩为左将军，督领前将军董卓，各率两万士兵拒敌。
董卓提出迅速进赴陈仓，他说：“聪明人不失时机，勇敢的人不迟疑。现在救，城就可以保全；不救，城就会破灭。保全或破灭的形势就在此时。”
皇甫嵩却说：“不对。百战百胜，不如不战而屈人之兵。所以先要作出不可获胜的样子，用来等待可以战胜敌人的时候。不可胜在我，可胜在敌人。
敌人防不胜防，而我郡军进攻则非常主动，想打哪里就打哪里。有余的，好像动于九天之上，不足的，好像陷入九地之下。
现在陈仓虽然小，但守城的工事坚固完备，不是九地之坑陷，王**队虽然强，但进攻我所不救的，不是九天之上的形势。没有九天之上的形势，进攻的就要受害。陷入九地之下，防守的就不会被攻破。王国现在已经陷入受害之地，陈仓可保不被攻破。我可以兴兵动众，收到全胜的功，为什么要救呢!”
没有采纳董卓的建议。
公元189年（中平六年），王国围攻陈仓从冬到春，已有八十多天，但由于城坚守固，最后也未能攻下，部众都疲劳不堪，只好解围撤退。
皇甫嵩立即起兵追击。董卓劝阻说：“不可以，兵法上说，被击败的敌人，不要追赶，撤回去的部队，不要逼迫。现在，我们追击王国，是逼迫撤回的部队，是追击被打败的敌人，被围困的野兽，还要挣扎，蜂虿有毒，何况这么多人呢！”
皇甫嵩则说：“不对。以前我不进击，是躲避他的锐气，现在进击，是等到敌人衰弱的时候。
我们进击的是疲敝的敌人，不是撤回去的部队。王国的部队，准备逃走，没有斗志。用堂堂之阵，进击溃乱之师，这不是叫做追穷寇。”
说完，便独自率兵追击，而命董卓殿后。皇甫嵩连战连捷，大破王国的部众，斩杀一万多人。董卓又惭愧又遗憾，愈加忌恨皇甫嵩。
公元189年（中平六年），灵帝病重，任命董卓为并州牧，让他把部队交给皇甫嵩统领。
董卓不肯奉命。皇甫嵩的侄儿皇甫郦认为董卓逆命怀奸，罪在不赦，力劝皇甫嵩兴兵讨伐。
皇甫嵩说：“董卓不听命虽然有罪，但我专诛也是有责的。不如正大光明地上奏，让朝廷处理此事。”于是将此事上奏，朝廷责备董卓，董卓对皇甫嵩更增怨恨。
公元190年（初平元年），董卓为防后院起火，征京兆尹盖勋为议郎，皇甫嵩当时统兵三万驻扎在扶风郡，盖勋秘密与皇甫嵩商议讨伐董卓。