如其正道将丧，多贿赂又有什么用呢”？于是，哥舒翰只带了一个包裹，单骑匹马来到长安。没想到唐玄宗与哥舒翰谈得十分投机，唐玄宗让哥舒翰取代王忠嗣的位置，担任鸿胪卿、陇右节度支度营田副大使，充任陇右（今青海乐都）节度使。临别时，哥舒翰极言王忠嗣无罪，唐玄宗不听，转身离开，哥舒翰叩头跟随，言辞慷慨、声泪俱下。
唐玄宗有感于哥舒翰的赤诚，明白王忠嗣是冤枉的，终于法外开恩，免除了其死罪，但以阻挠军功的罪名将王忠嗣贬为汉阳（今湖北武汉）太守。此前，唐玄宗曾因为同样的原因，毫不犹豫地杀掉了自己的三个亲儿子和一个女婿。唐玄宗能够如此对待自己亲自抚养、重用过的王忠嗣，已经是非常不容易了。通过这件事，朝廷上下无不对哥舒翰交口称赞，称说哥舒翰勇壮侠义。
史书记载说哥舒翰“朝廷义而壮之”。天宝八载（749年），攻克吐蕃据守的石堡城战役打响了，唐军、突厥阿布思部共有兵力6万3千余人，而吐蕃军不足千人。石堡城地势险要、城墙坚固、武备众多、粮草水源丰沛，可谓“一夫当关，万夫莫开”。哥舒翰被唐玄宗委以重任，作为这场战役的唐军总指挥，领兵攻打石堡城，唐、突厥联军在先锋高秀岩、张守瑜冲锋时，遭到吐蕃的滚木擂石，桡钩火箭（带火的箭矢）袭击，唐、突厥联军死伤枕藉，仍然不能得手。
哥舒翰焦急万分，欲拿高、张二人治罪。高、张请求宽限三日治罪不迟。二人多带兵马器械，分多路、多批次、多方式大力进攻，在损失两万多人后，终于攻下石堡城。真是“一将功成万骨枯”啊！天宝十三载（754年），哥舒翰在临洮（今甘肃临潭）、浇河（今青海贵德境）二郡，设立了宛秀、设神策军。这时的神策军并不是晚唐时期禁军神策军。
它是当时西北的一支戍边军队。其主要职责是：保卫京师，随时奉命出征；防秋抢收、与诸军相互策应防御吐蕃；随时监视临关内诸军动向。神策军后来在唐代宗逃难时护驾有功，入京成为中央政府直接控制的禁军，唐德宗、唐宪宗时常以此军讨伐藩镇，长安西面和北面防御吐蕃的部分任务也由神策军来承担，宿卫和征战，神策军充当了顶梁柱的作用。
此时，大唐与吐蕃分界线推进至今青海湖之黄河河曲一线。当时“中国强盛，自安远门西尽唐镜凡万二千里，闾阎相望，桑麻翳（yì）野，天下富庶者无如陇右”。 天宝十二载（753年），哥舒翰兼任河西节度使，进封凉国公，食实封三百户，不久，进封西平郡王。次年，再拜为太子太保，加实封三百户，兼任御史大夫。哥舒翰每次入朝，总是骑着白骆驼。
哥舒翰有一个坏习惯，就是嗜酒如命，时常在饮酒时有美女相陪。李林甫与安禄山交好，哥舒翰则与杨国忠关系融洽，杨国忠取代李林甫成为宰相以后，拉拢哥舒翰，打压安禄山。唐玄宗得知哥舒翰与安禄山、安思顺关系不睦，趁三人一同入朝的机会，撮合他们冰释前嫌。哥舒翰屡立战功，加上宰相杨国忠拉拢他一同对付安禄山，官运亨通就是意料之中的事情。
哥舒翰仗剑走河西，凭借的就是军功和威信。天宝十四载（755年），“安史之乱”爆发，唐玄宗在洛阳失守后，听信宦官监军边令城的谗言、杀了大将封常清、高仙芝。哥舒翰此前因洗澡导致突然中风，苏醒过来后，落下半身不遂的后遗症。所以，朝中因没有多少可用的大将镇守。唐玄宗不得已，只好启用患病的哥舒翰镇守潼关。天宝十五载（756年）正月，安禄山之子安庆绪率兵攻打潼关，被哥舒翰击退。
五月。唐玄宗接到叛将崔乾祐在陕郡（今河南三门峡西陕县老城）“兵不满四千，皆羸弱无备”的情报。命令哥舒翰出兵收复陕郡。杨国忠也在一旁不停地煽风点火，要求唐军兵出潼关，与叛军决战。唐玄宗听信杨国忠的谗言，不断派人催促哥舒翰，哥舒翰再三向皇帝表奏，“安禄山久在军中，精通兵法，有备而来，利在速战。叛军暗藏精锐，以老弱病残引诱我军，肯定有诡计，如果我军轻出，必然落入叛军的圈套，到时悔之不及”。
郭子仪、李光弼也认为潼关宜守不宜攻。唐玄宗此时已经被冲昏了头脑，听不进哥舒翰的良言相劝，反而严词苛责。哥舒翰屈于唐玄宗压力，担心步封常清、高仙芝的后尘。只好带兵收复陕郡，没想到，被安禄山打败。安禄山部崔乾祐以羸弱之兵牵制哥舒翰，自己带精兵强将攻打潼关。哥舒翰“恸哭出关”，唐军驻扎于灵宝（今河南灵宝）西原。
