张辽字文远，雁门马邑人也。本是聂壹之后人，为了避乖辟怨，遂改张姓。张辽少年时便已举郡吏。汉季之期，并州刺史丁原以张辽武力过人，召其为从事，命辽带兵往赴京都。何进又遣张辽往河北募兵，共得千馀人。辽募兵尚未还，而京中何进已因剿宦失败而死，因此张辽所领兵尽归董卓所有。董卓死时，张辽统兵归属于吕布，迁任骑都尉（相当于骑兵队长，地位略低于将军）。
后来，吕布为李傕所击败，张辽跟从吕布往东奔至兖州，为曹操所败后至徐州。
献帝建安二年(公元197年)领鲁相，时年二十八岁。
建安三年(公元198年)吕布遣张辽与高顺等攻破刘备，但其后曹操破吕布于下邳，张辽部领吕布军馀众归降，被拜为中郎将，赐爵关内侯。
建安五年(公元200年)曹操命张辽与关羽同为解白马围的前锋，击破袁绍军。数有战功，累迁裨将军。及曹操击败袁绍时，别遣张辽镇治鲁国诸县。
建安六年(公元201年)张辽与夏侯渊同围昌豨于东海，历经数月，粮秣将尽，众人商议先引军而还，但张辽却向夏侯渊说：“数日以来，辽每次行于重围外时，昌豨都会特别看著我。而且其军所发矢石越来越稀少，此必是昌豨心内犹豫不定，所以才不求力战。辽希望能挑试一下他，并与之洽谈，倘若可以成功诱使昌豨下山，不是很好吗？”于是命人向昌豨说：“曹公有命，使辽为其传达。”昌豨果然下山与张辽对话。张辽便说：“曹公神武，正欲以德政怀兼四方之众，所以先依附曹公者皆能受大赏”。于是昌豨便答应投降。张辽知其肯降，于是支身上三公山，入昌豨家中，并拜候其家人。昌豨见辽如此诚而无诈，心中欢喜，便随之往见曹操。
曹操先遣昌豨还东海，随后训责张辽说：“莽然支身赴敌巢穴，这不是大将所为。”张辽却拜答道：“因为辽凭著明公昭著四海的威信，既奉旨以往，相信昌豨必不敢加害，所以才会这样做的。”
建安七年(公元202年)张辽从讨袁谭、袁尚于黎阳时，咸有功劳，行中坚将军。
建安八年(公元203年)曹军攻袁尚于邺城，袁尚坚壁守叠，久攻不下。曹操纳郭嘉之计让二袁自行内斗而先还许都，使张辽与乐进攻拔阴安，迁徙其民至河南。
建安九年(公元204年)曹军又再攻邺，这次终于攻破邺城，张辽奉命别巡赵国、常山，招降了缘山一带的贼众及黑山孙轻等。然后张辽又从攻袁谭。
建安十年(公元205年)袁谭破后，又受命安抚海滨一带，征破公孙度所置的营州刺史柳毅、与长广太守何夔合兵讨允平贼从钱等。曹操表汉帝，称张辽曰：“武力既弘，计略周备，质忠性一，守执节义，每临战攻，常为督率，奋强突固，无坚不陷，自援枹鼓，手不知倦。又遣别征，统御师旅，抚众则和，奉令无犯，当敌制决，靡有遗失。论功纪用，宜各显宠。”收复东莱诸县后张辽引军还邺城，亲自出迎张辽，更与辽共载一车，封辽为荡寇将军，其见任如此。