在大宋朝中，虽然在皇帝那里便有“不因言获罪”的例子，可那些话都是说给御史士大夫说的，放到寻常百姓身上，你敢平白无故诬陷一个官员试试，照样把你抓起来，最轻也要打你几下板子，叫你长长记性。而那徐才正虽然说是告老还乡，可身上也还有荣誉加身，给许牛一百个胆子他也不敢当众说徐才正回来抱回来了个孩子，这事若传扬出去，无论真假，徐才正没有什么，可是许牛便要吃一顿苦头了，故此许牛只能是在张大茂耳边附言，不敢声张。
即便如此，张大茂听了也是到吸一口冷气，想这大宋朝里，虽然那些文人雅士的风流韵事已经广为流传，深以为傲，可是风流归风流，君子还要讲究明守心性，坚忍克制，你好酒可以，歌舞可以，甚至到了花街柳巷也可以，但是一个没有控制住，凭空之间有了一个孩子就说不过去了。张大茂越想这件事越不对劲，那徐才正虽然说身在京城为官，娶了一妻一妾，可是老母在家，徐才正早早的就把妻妾送回老家，照看老母，这一妻一妾生有两二一女，现都在家，他再从哪里有一个孩子回来，若这是徐才正与哪个女子所生，下车之时又不见哪个女子随他一起，如此一来，徐才正岂不是成了一个抛妻的登徒浪子，乱了礼数，违了纲常。这个年代的读书人最看重什么，最看重的是名声，要真是如此，事情传扬出去，徐才正恐怕身败名裂，那县令彭得然还要什么举荐信，赶紧跟他划清界限才是。
张大茂想着，就要去跟彭得然念叨念叨这事，可是转身走了两步，他又回来了，心中想到，自己怎么这么糊涂，那许牛乃是街头无赖，自己又没有亲眼看见，怎么能轻易相信了许牛的话，自己还是要想个办法去徐府里查看明白，再去找彭得然才好，省的到时候事情不对，叫自己里外都做不成好人。
这么想着，张大茂迈步来到了徐府门前，在这种乡间辟野，六品官的住宅，说是府，其实也就是比平常百姓人家建造的大一些，规整一些，甚至还没有县城里那些大商人的住宅豪华，张大茂先透过门缝往里看了看，见里面静悄悄的，没有什么声音，看不出什么异常，张大茂再直起身，拍了拍门环，过了一会儿那徐府的管家便过来给张大茂开了门。这管家也是本地人，与张大茂自然认识，看见是张大茂来了，破有点不好意思，就算张大茂不是乡正，毕竟人家在半路上专程等你，结果你装没有看见人家，反倒是加了一鞭走了，现在人家正主找上门来，总会有些难为情的。
张大茂看出来了管家脸上神色，故意没有提起之前的事情，以和为贵才是张大茂的作人准则，于是对着管家拱手道“赵老哥，徐大人可曾回来了？”管家看张大茂这么客气，更加惶恐，急忙摆手道“大人客气，主人回来了。”张大茂道“想徐大人久在朝中为官，如今衣锦还乡，小人备下一桌酒席给徐大人接风洗尘，正要拜见，还望赵老哥通禀一声。”管家自然知道张大茂不是跟自己这个老头子聊天的，可是管家回头看看，面色为难的说道“大人，主人
吩咐了，今日赶路，身体疲惫，要好好休息，恕不见客，这……”张大茂一看，便知道徐才正家中果然有事，如若不然，哪怕自己是有求于徐才正，按照官场礼节，也要出来相见，这才是待客之道，可是如今徐才正闭门不见，岂不是心中有鬼？张大茂想到这里，心中暗笑，说好一个读书君子，原来也有这龌龊之事，好好好，你今日身体疲惫，算是一个理由，我不扰你，我明日再来，看看你还有什么理由不见我。张大茂也不着急，还是满面带笑，拱手道“既然这样，那麻烦赵老哥和徐大人通禀一下，我明日再来恭候徐大人。”张大茂说完，转身便走了，那管家忧心忡忡，关闭大门，看了看那正方堂屋，叹气一声，回了自己的门房。
此时候天色渐晚，徐府里本应该庆祝徐才正回家，可是到如今却是寂静悄悄，几个下人都躲在了自己的屋子里不敢出来，两位夫人则是爬到了正房屋子的墙根底下，侧耳倾听，听里面有什么动静。原来，自从徐才正一封书信寄回家中，言明自己几时回家，顿时欢喜了家中老小，两位夫人主持，将家里又收拾一遍，准备了丰盛酒宴，等着徐才正回家，两位夫人更是早早的等在门口，远远看见徐才正驴车过来，夫人立即前去迎接，可是却见徐才正面色焦急，一脸的慌张，也不搭理两位夫人，紧走两步便进了大门，两夫人不知为何，想要上前询问，就在这时，便从徐才正身上传来一声小儿啼哭的声音，两位夫人闻听，脸色大变，再看徐才正，加紧脚步，头也不回，直跑入了老太太房中，关闭了房门，不叫其他人进入。