计擒杜匪
成了官军的张作霖对危害地方的胡匪十分痛恨，极力剿杀。在他的连年痛剿下，辽西的小股胡匪或被招抚，或被剿灭。就连党羽千余的大股悍匪田玉本也被张作霖部击毙，其徒众星散，百姓称快。
但是，还有一个奸诈凶残的土匪杜立三很难对付。杜立三盘踞在辽中县青麻坎。杜立三的势力越来越大，官军拿他无法。他自称马上皇帝。在他盘踞的地方，随意封官许愿，老百姓见他称之为杜大人。实际上，他已经造成了割据之势。盛京将军赵尔巽曾下令“严密访拿”，几次派兵进剿，但都败下阵来。1907年清政府在东北建立行省，任命徐世昌为东三省总督。徐世昌为了除掉这个心头之患，特派智谋之士知县殷鸿寿到新民府，去协助张作霖剿灭杜立三。
对杜立三是强攻还是智取，他们进行了仔细的商讨。杜立三自诩为马上皇帝，马上功夫了得。能双手使枪，弹无虚发。且城池坚固，徒众凶顽，关卡林立，防备极严。如像以前那样派兵强攻，恐师劳无功，难以奏效。因此，决定智取。他们设了一计。张作霖派人到辽中县送上一封贺信，祝贺杜立三被奉天省招抚，当上了大官，官位比张作霖还高。让杜立三速到新民府来面谒省里的招抚大员，以便到奉天向徐世昌总督致谢。杜立三有所察觉，不敢贸然行动。同他母亲和兄弟商量。他们也认为到新民风险很大，凶多吉少，都不主张他去。
此计落空。张作霖没有灰心，又生一计。他想到了黑山秀才杜泮林。杜泮林是张作霖的义父。张作霖在中安堡当保险队头目时，同绅士杜泮林结下交情，来往密切，关系甚笃。张作霖知道杜立三拜认杜泮林为同族叔，对其言听计从，十分尊重。张作霖就想打杜泮林的主意。他和殷鸿寿密谋，用杜泮林引诱杜立三上钩。
张作霖特地亲自到黑山把杜泮林接到新民府，并把他引见给省城大员殷鸿寿，以证明确实是省里招抚，并非虚构。又在新民街上，为杜泮林另设招待处，请杜泮林在招待处稍事休息，候杜立三来到之后，一同晋省。秀才杜泮林是老实人，不知是计，就给杜立三写了一封亲笔信，言辞恳切，感情真挚。有“游侠非终身之事，梁山岂久居之区；一经招安，不仅出人头地，亦且耀祖荣家”等语。
杜立三本来疑信参半，犹豫不定。突然收到他素来景仰的族叔张作霖的亲笔信，便疑念顿消，决定前往。于是，他在1907年6月6日仅率13人，作为随身护卫，由宋庆濂带领，奔向新民府，接受封官去了。他哪里知道此去是有去无回了。张作霖为了不出意外，事先做了周密布置。杜立三只身赴会，十分警惕。在晋见委员殷鸿寿时，他坐在背靠墙壁面对诸人的位置，同时两手插入兜内，握住枪柄，观察动静，以应突变。谈话完毕，殷高声喊道：“送客！”杜起身告辞，殷送至里屋门口，杜转身请殷“留步”时，刹那间，突被汤玉麟等几个壮汉按倒，死死捆住。事不宜迟，当晚就把杜立三在新民府西门外枪决了。其实，在这之前，张作霖早已派张景惠率大队人马，绕道台安八角台，做好进击杜立三老巢的准备。得到处决杜立三的消息后，张景惠等迅速出击杜立三的老巢。群龙无首，他的老巢辽中县青麻坎，被一举端掉。除掉了杜立三，扫除了一大害，辽西匪患遂绝，人心称快。
杜立三这个多年啃不动的硬骨头，让张作霖轻而易举地剔除了。这里便显示了张作霖的过人的智慧。得此消息，总督徐世昌喜出望外，上报清廷，为张作霖请奖。清廷除赏银五千两外，将张作霖升为奉天巡防营前路统领（旅长），管辖马步5营。其他还有中路、左路、右路、后路等4路统领。张作霖成为东北旧军5个举足轻重的武装力量之一，势力更加壮大了。
剿灭蒙患
1908年，徐世昌把剿匪得力的张作霖调到辽宁西北部的通辽、洮南一带，去剿除被沙俄收买的蒙古叛匪。据有关人记载：“洮南一带系干燥的草原，草有一二尺高，一望无边。夏日蚊虫甚多，大者如蜜蜂，叮人很厉害。”“虽在夏天，都得用棉花把头包上，否则寸步难行。狼群更多，一群就是十几条。当时队里的通信人员（当时叫做跑拨子的）往往被狼吃掉，剩下马跑回来……蒙古军队都是一个人乘两匹马，骑一匹，备一匹，力量足，跑得也快。以上种种，都是蒙军优于汉军的地方，所以张作霖清剿蒙匪不是一件容易的事情。”
洮南一带是广阔无垠的大草原，是蒙匪活动的根据地。他们熟悉地形，了解民情，精于骑射，出没无常。他们行踪无定，多用奇袭，打了就跑，渺无踪迹。其中，有几股大的蒙匪，如白音大赉、牙仟、陶克陶胡等，都“扰害边疆，至数年之久，此剿彼窜，滋蔓难除，国家视为巨寇”。
这些“巨寇”不除，国家不得稳定，百姓不得安宁。张作霖当此重任，开始并不顺利。后来，他采用了强攻和智取两手策略，派人打入蒙匪内部，取得情报，而逐渐扭转了劣局。1909年，徐世昌看到张作霖的兵力不足，便给他扩编，增强他的实力。把5个营扩编为7个营，又将驻扎在洮南的孙烈臣部划归张作霖部。这样张作霖的部队增至3500人，成为东北的一支劲旅。
张作霖是个很知道感恩的人。受到东三省总督徐世昌如此青睐、如此器重，他剿匪更加努力。同时，他也在不断地总结剿匪的经验教训，摸索出一套可行的规律。他本人也吃苦耐劳，身先士卒。因此，又经过年余苦战，终于将白音大赉击毙，生擒牙仟，并打败了陶克陶胡。后来追击陶克陶胡800里，一直将陶克陶胡赶到蒙古国。危害东北边疆多年的蒙患解除了，打击了蒙古分裂主义分子的嚣张气焰，维护了国家的统一和民族的团结，张作霖功不可没。
智进省城
在张作霖的政治生涯中，他于1911年智进奉天省城，是一大手笔。1911年10月10日爆发了武昌起义。各省纷纷响应，脱离清政府，宣布独立。奉省的革命党人张榕、宁武、商震等早有活动，新军中也有吴禄贞、蓝天蔚等从事革命活动。武昌起义的消息传来，东北革命党人群情振奋，准备积极响应。当时以蓝天蔚为协统（旅长）的新军第二混成旅驻扎在奉天的北大营，这是省城的惟一一支驻军。蓝天蔚又是革命党人，他如果抓住机会及时策动反正，可以立见成效的。他确实也在和革命党人张榕紧密磋商，秘密酝酿起义。