那时的中国是一片混乱，东北地区尤甚。清朝政府腐败透顶，中国大好河山任人宰割。沙俄强行割去中国领土一百五十多万平方公里，仍觊觎中国东北的广袤土地；中国甲午战败，日本魔爪深入中国东北。官吏横征暴敛，百姓不堪忍受。一时间，土匪蜂起，啸聚山林，打家劫舍，百姓生活更加痛苦了。
张作霖由于小时候就受到父亲不良影响，也爱赌博。开始时，他靠张作霖卖烧饼赚点钱，可是很快就输光了。他的母亲让他改学木匠，他嫌太累，不爱干。一度曾流浪街头乞讨。后来流浪到高坎镇（今营口大石桥市高坎镇高坎村），他在大车店给人家打杂。有时骡马病了，他就弄点草药给治，还真的就治好了。他很聪明，一来二去，就成了兽医，这个行当他还比较喜欢。后来，他开了一个兽医店，以此为生。以后，他命运多舛，被人冤枉遭受痛打，差点送命。经好心人帮助，得以不死。他似乎降到了人生的最低点，走投无路，死又不甘，求生无门。恰在此时，中日甲午战争爆发，他便抱着一线求生的希望，从军了。他投到宋庆毅军马玉峎的门下，当了一名骑兵。那年，他20岁。他喜好马匹，“以精骑击，得名擢哨长”。甲午战败，他逃回了辽西。1895年，他21岁时同赵家庙地主赵占元的二女儿赵春桂结婚。赵春桂是张作霖的原配夫人，是张首芳、张学良、张学铭的生母。张作霖是个不甘寂寞的人。他不想像他的同乡那样过着衣食无着、平淡无味的生活，他想换个活法。
投身绿林
甲午战后的辽西是个三不管地区。散兵游勇成群，乞丐难民遍野。官府腐败，土匪横行，百姓的生命安全受到严重威胁。这种情况下，各地就相应地成立了一些自保的武装组织，名曰大团。1900年，张作霖因岳父赵占元的帮助，在赵家庙成立了一个大团，有二十多人，他当上了小头目，负责附近几个村子的治安。他负责的地区称为保险区。张作霖在保险区内很守规矩，不仅遵章守纪，而且维护治安。因此，在这个地区胡匪的骚扰得到遏制。张作霖也得到村人的称赞，他的声名由此鹊起。他管辖的范围逐渐扩大，达到二十多个村子。
在赵家庙的西北，有个大团，团主叫金寿山。金寿山收罗了一批地痞流氓，组成了一百多人的大团。大团的总部设在中安堡，其周围地区是他的保险区。金寿山在保险区内横行霸道，无恶不作，比胡匪还凶残。大团本来是保民的，可是金寿山却专门害民。百姓被逼得实在无法，就去请名声较好的张作霖帮忙。张作霖率众驱走了金寿山，占据了中安堡。他的部众得以增加，势力更大了。但是，金寿山在1901年腊月三十夜半偷袭了张作霖。张作霖携带妻女率众突围，逃到了姜家屯，继而又逃往八角台。在途中，身怀六甲的赵氏在马车上生下了一个男孩，这就是张学良。此时值1901年6月3日。
八角台（今属台安县）是个大集镇，商号有五十多家。本来张作霖是想从八角台借道投奔辽南的绿林冯德麟（即冯麟阁），但是到了八角台，这四十多人就被留下了，借以保护地面。这都得益于张作霖的名声好，不扰民。商会会长张紫云对张作霖的名声早有耳闻，此次见面，看到张作霖北人南相，眉清目秀，且行止有矩，谈吐不俗，果不虚传。就决心把他们留了下来。后来证明，这个决定是正确的。原来八角台的头目张景惠主动让贤，甘居副职，张作霖做了团练长，地方的绅商也表赞成。从此，张作霖就在八角台落了脚。这里也成了他的发家地。
接受点编
1902年左右，社会秩序逐步稳定。这两年张作霖苦心经营他的武装，势力有所扩展。尽职尽责，起到了保境安民的作用。和当地绅商也相处融洽，得到他们的交口赞誉。但是，随着社会秩序的稳定，地方自治武装也就失去了存在的价值。按理张作霖的大团应予遣散，团民或回家务农，或进城经商。但八角台商会会长张紫云考虑到遣散这一武装，团民四散，可能危害地方。同时，他也和张作霖结下了友情，就想给他们找个出路。
为此，张紫云同有关人商量，拟将这一武装交给政府，这个提议得到绅商的赞同。于是，他们向新民府知府增韫正式推荐张作霖，对张作霖大加赞扬。增韫接见了张作霖，张作霖以弟子身份行叩见礼，称增韫为老师。通过亲见和谈话，增韫感到张作霖是个温文尔雅之人，留下了很好的印象。他便命张作霖整理部武，将其带到新民听候点编。其心中甚喜。其实，张作霖的政治野心很大，他深知经营民团不是长久之计。他早就想“改邪归正”，被政府收编。恰在此时，盛京将军增祺采纳了“化私团为公团”的建议，作出了“化盗为良”的决定。适逢其时，增韫知府的报告得到了盛京将军增祺的批准。
张作霖急忙回到八角台，积极招兵买马，扩充队伍。因为他和增韫说了张作霖大话，吹嘘自己有一营人马，实际才有一百多人。当时准许他组建250人的队伍。他便乘机开展组编活动。他吸收了辽西一些小股匪帮，如义县的张作相、黑山县的薄振声等，都参加了进来。人数够了，他就率队到新民府接受点编，成立了新民府巡警前路游击马队，命张作霖为帮办（副营长，队伍仍驻八角台。第二年，即1903年7月，张作霖所部和新民街巡捕队合并为巡防马步游击队，计500人。其中，骑兵2哨，步兵3哨。张作霖为管带（营长），张景惠为帮办（副营长），中哨哨官由张作霖兼任，前哨哨官为张作相，左哨哨官为汤玉麟，右哨哨官为王立有，后哨哨官为赵五把什。哨官是连长。队伍亦移驻新民府，负责地方治安，并兼剿胡匪。就这样，张作霖由一个民团武装的头目摇身一变，而成为政府官军的军官了。这是他人生的一个重大转折。从此，依靠这支武装，他便平步青云，扶摇直上。
巧于应对
张作霖为人机敏，长于计谋。来到了新民府的生疏环境，他也知如何自处。他把争取增韫的信任摆在首位，投其所好，“馈以金钱”，执礼甚恭，服从命令，听从调遣。同时，笼络绅商，认真办事，约束部下，管理有方。这就深得知府增韫的赏识，被倚为不可或缺的左膀右臂。他又略施手腕，挤走了新民府的巡警局长王奉廷。没多大动静，他就悄悄控制了新民府的军事实权。突显了其过人的能力。
这个能力还表现在残酷的日俄战争中。1904年2月，在我国东北爆发了日俄战争。两个帝国主义国家在我国东北展开厮杀。腐败的清政府竟然宣布辽河以东为战区，以西为中立区。战争打响，哪还管什么中立区。日俄匪军烧杀淫掠，无恶不作。土匪蜂起，百姓遭殃。处在辽西的新民府是个重镇，张作霖除了要维护境内的治安外，还在盘算如何增强自己的实力。他的原则是谁给我好处，我就帮助谁。一开始，俄军强大，他就接受俄军的枪械和金钱，帮助俄军。后曾被日军俘虏，差点处死。被释放后，他又同日军签订誓约，“立誓援助日本军”。1905年日俄战后，他的部队不但没受损失，反而扩编为3个营。在日俄两大帝国主义战争夹缝中生存的他，充分显示了处理复杂问题的能力。因政声颇佳，1906年张作霖又升官了。新任盛京将军赵尔巽和新任新民府知府沈金鉴下令，将张作霖的部队由3个营扩编为5个营，张作霖当上了统管5个营的统带（团长）。