1928年初，蒋氏重新上台，黄郛被推荐为南京政府外交部长，在任上，发表了对维护中国的领土完整和废除以往与各国签订的不平条约等对外交往“六大原则”。尽管依照中国当时的国力，这些原则只是纸上谈兵，实施起来几无可能，但能有勇气发表这样的宣言，也属不易。
1927年北伐期间，发生在南京外国使馆遭受散兵和暴徒袭击的“宁案”，以及随之而来的日本人发动的“济南惨案”，使黄郛的政治活动发生了剧烈的变化，黄氏从此深陷对日外交湍急的漩涡。
“济南惨案”是日本少壮军人发动的旨在保护日本在华北的利益而针对北伐军的挑衅。日军以保护侨民为借口，出兵济南，进攻中国军队，杀害国民政府驻山东特派交涉员蔡公时等17名官员。重炮轰城，中国军民死伤达万计。当时的军事情形是蒋介石为了北伐的需要，只想与日本人妥协，他又不愿担当“亲日和议”的骂名，一切谈判，都由黄郛出面。黄郛多次急电日本外务大臣提出严重抗议，并致电国联寻求帮助，但投鼠忌器，对济案处理的立场无法强硬。国人对黄郛外交交涉不力强烈不满，将外交政策的失败全归结到黄郛的身上。
黄郛代蒋受过，吃足了窝囊气。他曾对张群吐露苦衷:“济案所受刺激，公私两项皆为生平未有之伤心事”，多次发出“事理人情，余勇两无可鼓”之叹，最后不得不电呈国民政府引咎辞职。“济南惨案”后来由继任的外交总长王正廷以十分屈辱的条件，和日本人达成了“和解”的协议。
黄氏辞去外交总长后，和夫人在莫干山息影了五年时间，埋头读书，经营莫干山小学和当地的公益设施。他还和一帮同道，倡议组织新中国建设学会，发行《复兴月刊》。但自“九·一八”事变后，日本人对华北步步紧逼，连一张平静的书桌都放不下的中国，哪里还有世外桃源。1933年春，日本侵略者的铁骑已经越过长城，直逼通州，平津吃紧，华北危如累卵。国民党其时的军事力量，对日本军队完全无抗衡的可能，再加上蒋氏还把大部分的兵力用于江西的“剿共”上。中日交涉停战，已经是迫在眉睫。可是，与日本进行直接的谈判与交涉，是何其棘手!因为当时日本的政局，受制于冒险和争功的少壮派军人控制。这些军人为了建功，极易“蹈险”，根本是无理可谈。所谓的中日谈判交涉，只不过是让中国在谈判桌上屈膝受辱。
黄郛在蒋介石和国民党政府的屡次催召下，勉强同意担任“行政院驻北平政务整理委员会”委员长，北上负责对日交涉，出面收拾华北残局。
其时南京政府的高层对处理华北政局的态度颇耐人寻味，一方面需要摆出高蹈的姿态，做给全国大众看，义正词严地要求黄郛对日本人绝不姑息。无论是最高领袖蒋介石还是行政院长汪精卫，在报纸上发表的官样文章和讲话，都是如此。而私下的电文往来，则完全不是这么回事。为了尽早安定华北，使得日本人不再进逼，蒋汪都最大限度地授权给黄氏，要求他“权宜行事”。除签字与承认伪(满洲)国，割让四省(即东三省)之条约外，其它条约皆可签应。
由于积年受日本人的侵略，中国民众的反日情绪沸腾已极，任何对日本让步的协议，都会被视为“卖国”，因此官员在和议场中所受的内外压力，甚至大于在战场的指挥官。如此两相夹逼，黄氏直如火上被烤的猴子。到了后来，黄氏实在受不了蒋汪对外冠冕堂皇的讲话带来的窝囊气，在给蒋介石有份电报中愤然云:“弟(蒋介石)如要兄(黄郛)依旧留平协赞时局者，希望今后彼此真实地遵守'共尝艰苦'之旧约，勿专为表面激励之词，使后世单阅电文者，疑爱国者为弟，误国者为兄也。”
在黄氏殚精竭虑的斡旋下，1933年5月，屈辱的城下之盟“塘沽协定”终于签订，日本军队暂时撤出长城之外。紧接着，未公开而不为世人知晓的“北平谈判”协议、通邮通航协议，也先后签订。这些协议，屈辱地接受了日本人很多无理的要求，也使得华北的局面得以短暂的安定。
黄郛在华北任上经手的几起谈判和签约，都是在中方极端不利的前提下进行的。黄氏接受这样的担子，自己很清楚是如何的棘手。每次签约，都是在反复的斟酌、平衡和退让中进行，可以说都是一种不得已的退而求其次的无奈选择。
亲日派
我们只要看“塘沽协定”签订后，通车通邮协议签订的艰难，就可以了解到中方为了争取一点权利需要付出多么巨大的努力。
在此次的交涉中，高宗武代表行政院参与了其中的谈判。在涉及到伪满和日本人在长城内外的利益时，他曾经和黄郛有激烈的冲突。高氏年轻气盛，对黄氏屈服于日本人的高压非常不满，屡次发电给行政院投诉。可高宗武等人的坚持有什么用呢?日本人咄咄逼人，屡屡下达最后通牒，逼使中方在他们事先拟好、不得更改的协定上签字。强兵压境，不签字就轰城。在敌强我弱的情况下，光有一腔正义究竟于事无补，最后还是以黄氏的建议勉强获得通过，从而使得东三省和内地的通邮通车得以进行，名义上避免了承认伪满洲国的尴尬局面，避免了铁路缴款的损失，也避免了关外内地邮路的中断。这其中的艰难，那些置身于事外，高唱爱国主义歌曲的热血青年是难以体会的。
《亦云回忆》在“塘沽停战协定”一节，有段客观的评论:“关于塘沽停战，以及后来的通车通邮诸事，赞成反对，以地域言，愈远之处愈唱高调;故两广始终反对，而华北则切身利害所关，多持平之论”，更遑论有些人出于政治需要的恶意指责和横加责难了。沈氏又以“国家大难当头，犹意气用事，视当冲之人存心卖国，又责以万能”为黄氏鸣不平。
“塘沽协定”给黄郛一生的政治和外交生涯带来了巨大的屈辱。黄氏在华北的苦心经营为社会舆论所不容，一时间责难纷起，备受指责。连沈亦云的妹妹和妹夫都不能理解，认为“大姐平日颇能规过，此次甚偏袒姐丈”，如此情形，沈亦云在书中称为“打落门牙带血咽”，黄郛承受的屈辱和压力，不是常人能够忍受的。
1933年黄郛与夫人沈亦云1913年在天津 8月，天津《大公报》记者王芸生采访了黄郛，他说:“这一年来的经过，一般人以为我黄某天生贱骨头，甘心做卖国贼，尽做矮人;我并非不知道伸腰，但国家既需要我唱这出戏，只得牺牲个人以为之。”《亦云回忆》中记述，蒋介石为《黄膺白先生家传》所作的序言，云黄氏“志足以慑强寇之气，而势不能弭铄金之口，其忍辱负重，诚有非常人所能堪者。自来志士仁人，临汤火而不避者易，受疑谤而不辞者难，当其困心衡虑，不计毁誉。”蒋是非常清楚自己的盟兄为其忍辱负重背黑锅的良苦用心。
黄郛为什么一再接那些烫手的山芋，明知事不可为或很难为而勉力去为之，除了作为一个知识分子秉承国家有难，匹夫有责的精神，以国家安危为念外，也是为了践行和蒋氏结拜兄弟时候立下的“安危须仗，甘苦共尝”的誓言，这也可看作中国古代士人重诺的一种江湖义气。
按黄郛的经历和他与日本的深厚关系，他很容易被看成是亲日派。当时的舆论和报章也是这样看待他的，他甚至被冠以“媚日”的恶名。沈亦云耿耿于此，在《亦云回忆》中多有辩白。作者基于自己和日本人接触的感受和印象，和二次革命后流亡日本生活的切实经历，深入剖析了当年的中日关系和日本人侵略中国的深层原因。中日之间一衣带水，从明代以后，两国关系就非常微妙。明末抗清的遗民朱舜水在安南被拒后，是被日本人收留并允其永居，成为日本当时最有势力诸侯的宾师;著名自由主义分子大隈重信创办的早稻田大学培养了很多中国留学生，但臭名昭著的《二十一条》即出自大隈内阁;日本近代很多著名人物和同盟会的关系以及对推翻满清的支持，世人皆知，而承认伪满洲国的，正是与国民党有十多年友谊，在二次革命时极力主张允许亡渡日本的革命党人居留的犬养内阁。日本自明治维新后，举国上下一心建国。军神乃木大将在日俄战争时，旅顺久攻不下，他的两个儿子在攻城时率先捐躯;伊藤博文出访朝鲜，有人警告会遇险，他为了日本国家利益，毫不退缩，最终被安重根刺杀于哈尔滨。作者拿这些舍身为国的日本人和当时的国民党上层人物进行相比，感叹即便中华民国的开国元勋，虽有建国抱负，而生活也不足以示范于人。随上下一心建国热而来的是日本人的“侵略狂”，这种“侵略狂”的肇事者多为不知战争之险的下级军佐，他们不断挑起中日争端。
济南惨案
黄郛是当之无愧的日本通，日本人很重视他，把他当作中国政府有眼光的外交家。“济南惨案”后，足分利出使中国，和黄郛有较密切的接触。两人对中日之间关系的看法比较接近，认为中日之间必须相忍为治。足分利使华期间，颇得中方好评。“塘沽协定”后，黄氏辞职退隐莫干山，足氏曾拟访黄，但被黄郛以避嫌为由拒绝，足氏回国述职不久即自杀。黄氏后来非常后悔自己为了清誉，而拒绝和一些对中日关系有识见的日本高层人员的接触。
继足分利使华的是重光葵，其时“九·一八”事变已经发生。重光葵解职归国时，私下曾对黄郛透露:日本的军事力量已远较十年前为强;日本军界下层的军佐劫持上层，建功立业之心空前膨胀，对中国开战必不可免。他解说，此乃友谊，非外交官的话，此中的含义，不言自明。近代史上的中日关系，是中国外交的惨痛的伤心史。黄郛曾经感叹地说过:中国真是不幸，两个邻居(苏俄和日本)都不是善类，如果是个家，我早已搬;如今是个不可搬的国，只得先顾缓急轻重。他对苏俄始终深抱戒心，一直反对国民党联俄的策略，认为“中日关系与中苏关系比，无论如何不应该放弃日本这一条路”。
相较苏俄而言，黄郛对日本还是抱有幻想的。他留学日本，和当时日本上层的政治家有很好的私交。他天真地希望中日的关系能达到当时“英美”和“德奥”那样的兼容和亲密，中日即便有争，也能相互尊重。在他遗嘱的最后一条，还是忠告双方的有识之士，奉行儒家的恕道，同文同种的中日双方万无自残之理，日本应该放弃殖民华北，侵略中国的政策。
遗憾的是，这些只是黄郛一厢情愿的幻想，1936年12月6日，在第二次退隐莫干山三年后，黄郛因肝癌病逝。此后，不到一年的时间，七七事变爆发，一场持续八年之久，给中日双方带来深重灾难的大战，终于不可避免在中国大地上上演。