玄宗同意了。自是高仙芝、哥舒翰皆专任大将，李林甫认为其不识文字，无入相由，然而禄山竟为乱阶，由专得大将之任故也。
皇甫惟明在与吐蕃军作战中连战连捷，进京献俘，玄宗亲自接见了他。
玄宗说：“皇甫将军，你屡战屡胜，灭吐蕃气焰，壮我大唐国威，朕要嘉奖你。”
皇甫惟明说：“谢陛下。保卫边疆，这都是末将应尽之责。臣有本要奏。”
玄宗：“将军请讲。“
皇甫惟明说：“末将这些天在京城，听许多大臣议论，说宰相李林甫专权。刑部尚书韦坚有宰相之才，可以启用。”
玄宗说：“此事重大，容朕考虑，改日再议。”
这些话没有逃过李林甫的耳目，李林甫非常愤怒。
皇甫惟明早年曾与忠王李亨为友。
开元十八年（730年）九月，吐蕃因屡败于唐军，便遣使请和。皇甫惟明知道后，便面陈和亲之利。
玄宗却认为：“吐蕃赞普往年尝与朕书，悖慢无礼，朕意欲讨之，何得和也！”
皇甫惟明解释道：“开元之初，赞普幼稚，岂能如此？必是边军将务邀一时之功，伪作此书，激怒陛下。两国既斗，兴师动众，因利乘便，公行隐盗，伪作功状，以希勋爵，所损钜万，何益国家！今河西、陇右，百姓疲竭，事皆由此。若陛下遣使往视金城公主，因与赞普面约通和，令其稽颡称臣，永息边境，此永代安人之道也。”（《旧唐书·吐蕃传》）
玄宗觉得言之有理，便令皇甫惟明和内侍张元方出使吐蕃。二人至吐蕃，对赞普和金城公主说明来意。赞普非常高兴，欣然请和，唐蕃两国遂修旧好。
不久，皇甫惟明因功任左卫郎将（《唐会要·卷五十九》）；开元二十年三月（735年），皇甫惟明，摄侍御史，充长春宫使（《唐会要·卷五十九》）；后又任司农少卿（《册府元龟·卷一百五十八》）；开元二十五年（740年）七月，任检校司农卿（《册府元龟·卷一百五十八》）；开元末年，皇甫惟明出任陇右（今青海西宁乐都及甘肃临潭等）节度使。
天宝元年十一月（742年），吐蕃大军进犯陇右地区，皇甫惟明立即率军迎击，在青海大获全胜。十二月二十七日，吐蕃大将莽布支再率3万余人马，与皇甫惟明部交战。唐军先锋骑将王难得率先出阵，与吐蕃赞普之子琅支都交锋。琅支都被其枪挑于马下。吐蕃军阵脚大乱。皇甫惟明趁机指挥唐军乘势掩杀，斩获5000余人（一说3万人）。
皇甫惟明发现吐蕃军每次进犯陇右地区，都以洪济城（今青海贵德西）为前哨阵地，遂决心除去这个隐患。天宝二年（743年）四月，皇甫惟明亲自率领兵马自西平郡（治西都，今青海乐都）出发，长途奔袭，推进千余里，向驻守洪济城的吐蕃军发起进攻。由于唐军远道而来，出其不意，很顺利地便占领该城。