「高三跋扈太甚。」義陽半開玩笑地幫腔說。
所謂的國工，是在皇宮內長期御用或自民間強行徵發的工匠統稱，細分下來有印染、木工、金銀器、織造等等，高岳口中要和靈虛公主爭奪的國工，當指的是可以造船的嫻熟木匠。
次日，兩儀殿昭德皇后的齋堂內，靈虛就哭哭啼啼，梨花帶雨，伏在皇帝的膝前，「如無武安君顯靈，就憑高三這區區文臣，哪裡能在華亭取得大捷？可現在他居然要無端劫奪國工，是可忍孰不可忍？」
皇帝也大怒，說國工只可由大明宮使用，出了大明宮諸門，哪怕是京兆尹修橋營邸的，也要上疏請將作監來撥給，高三昔日營修奉天城，朕曾給了他大批的國工，歸還回來的不足六成，剩下的全被他以年老退番為理由拉到興元府去了，現在又向朕來索求，還上疏要先罷朕女兒的白起祠差役，簡直奸猾——這樣，西北種粟的耕作交給他那鳳翔少尹兼營田副使薛白京去做，讓他即刻來京，給朕解釋此事，順帶商議黨羌酬賽——靈虛，你不要傷心，朕馬上就讓中書門下出牒文，將高岳所請給駁斥掉。
可誰想李泌入紫宸殿面見皇帝時，直接說，高岳為營豐安軍城，通靈武水運，請求國工；靈虛公主為建白起祠，也求國工。這其間的矛盾，臣已發牒讓高岳上疏給陛下詳議此事，還請陛下批閱做出最終定奪。
皇帝不悅：「靈虛公主請國工天經地義，怎麼好和高岳所請相提並論？」
「陛下，咸陽縣已在京師各門外，在那裡建白起祠，應該讓京兆府而不是將作監主持，由咸陽周圍縣本地徵集人手，而非國工（所以靈虛根本沒有天然優先權）。況且，白起祠不過祭祀廟宇，而豐安軍城則當國家衝要、水運樞紐，臣恐公議會以後者為優，最後非但不會遂陛下心愿，反倒會傷及靈虛公主清譽。」李泌絲毫不讓。
皇帝皺皺眉，然後低聲說：「國工暫且可放下，但党項之事，朕也要宣召高三當面商議。」
李泌微笑起來，說此事陛下勿憂，待營田和築城初定後，就召高三入京便是。
最終高岳的奏疏在旬日後，也抵達了京師，他居然同意不和靈虛公主爭國工，但也在奏疏里向皇帝提出個請求：
臣可以從興元府僱傭船工和梓匠，但請陛下此後廢除「番匠」制度，也廢除掉天下各州匠師為免除征役而給少府監、將作監繳納的代番庸錢。
原來，唐朝京師里有數目龐大的官隸工匠，就是為宮殿服務的，其中為皇帝提供手工勞作的隸屬於少府監，為皇帝提供土木勞作的隸屬於將作監。如按服役種類區分，有部分不允許離開宮廷，要終身為皇帝服務的稱作「長上匠」，但這類人畢竟是少部分，許多情況下唐政府是向各州縣強制徵發工匠，並要求各地不得「隱巧補拙」，徵發去的工匠必須得提供二十天的免費勞役，稱為「番匠」——更沒道理的是，哪怕輪到你上番時，國家並沒有役事可做，不用京師，但也要繳納給少府監「代番庸錢」，要不無償幹活，要不就是不幹活也要貼錢。
高岳批評了並請求取消這種制度，言各州番匠入京師服役二十天，來迴路程加在一起，幾乎都要三個月往上，消耗的衣糧都要自己承擔，很多情況下上一次番就得傾家蕩產，況且有時因為少府監、將作監不察，番匠們好不容易入京，才發現無事可做，又無生計來源，以至有人倒斃長安街頭，真的是勞民傷財，況且自行兩稅法後，諸色徭役已折納包含在兩稅錢當中，各地工匠也不例外，沒理由再繼續上番了——臣請陛下頒布詔令，天下各府、州、縣的工匠，不再至京師上番，全部入各地城中定居，稱「廓坊戶」，各以手藝謀生，定兩稅錢數額，同樣以夏秋兩季繳納，這樣官匠兩便。
此後陛下不妨如此做，大明宮、京兆府內如有營造修繕，便出錢自京畿、同華各地僱傭工匠；興元府如有營造修繕，也出錢自興元府管下的各州各縣僱傭，以此類推。
高岳此舉，便是要廢除匠戶對封建官府的人身依附，真正繁榮商品經濟，促進工商業城市的興起。
當然高岳也曉得皇帝和靈虛不是省油的燈，便稱鳳翔、興元有十萬貫的進奉，五萬貫助新降嫁的義陽公主治宅第，五萬貫助靈虛公主僱傭工匠造白起祠。
最後結果是皆
