东汉末年，各地封建官僚和豪强大族在镇压黄巾农民起义的过程中，迅速扩大自己的武装势力，形成“大者连郡国，中者婴城邑，小者聚阡陌”（《三国志》卷2《魏志·文帝记》注引《典论。自叙》）的割据混战局面。经过一系列的兼并战争，曹操、刘备、孙权三大军事集团各自在中原、西南和江南地区建立起比较稳固的封建政权。魏、蜀、吴三国鼎立格局的出现虽然是军事斗争取得均势的产物，但大规模的战争仍然持续不断。
因此，三国统治者对于军事制度的建设都极为重视。魏、蜀、吴的军事领导体制及其他军事制度既有沿袭两汉的内容，又有鲜明的时代特点和各自的地域特色。
一、中央军事机构
建安年间，曹操先后任司空录尚书事兼行车骑将军、丞相、魏公、魏王，掌握着东汉王朝的军政大权，汉献帝不过是他“挟天子以令不臣”的政治工具。曹府实际上既是最高的行政机构，又是最高的军事机构。建安元年(公元196年)曹操为司空录尚书事兼行车骑将军。司空贵为三公，可以开府设曹治事；录尚书事总揽朝政，无所不统；车骑将军是当时最高军事统帅（据《三国志》卷1《魏志·武帝纪》，建安元年九月汉献帝都许县后，曾拜曹操为大将军，但为时不到一月，曹操即将此职让与袁绍，改任代理车骑将军。袁绍为大将军只是挂名而已，曹操以行车骑将军的身份领兵，才是当时最高军事统帅。）府中所置领军、护军各一人，系曹操的主要军事幕僚，平时参与军事机密与决策，战时代表统帅指挥与监护诸军。
建安十三年(公元208年)，罢三公，曹操独任丞相，综理众务，权力更为集中。领军、护军改为中领军、中护军，仍是曹操的主要军事助手和中央直属军队的统帅官。此外还有军师祭酒、军谋祭酒、参军事等参与军事谋议，左右司马主管军务。至于相府诸曹，也多与军事有关，如东曹主武官任用，兵曹主日常军务，尉曹主运输供给等。
曹丕代汉称帝后，为了防止权臣篡政，不设丞相，复置三公(太尉、司徒、司空)，但“三公无事，又希与朝政”，（《三国志》卷24《魏志·高柔传》），皇帝统御全国军政的最高机构为尚书、中书二省，录尚书事、尚书令、中书监及令成为协助皇帝进行军事决策的主要助理。执掌兵事的最高武官为太尉、大司马、大将军，而实际处理日常军务的机构是尚书省下属的五兵尚书曹，该曹分置中兵、外兵、都兵、别兵、骑兵五曹郎，各司其职。这一常设性的军事行政机构的创立，可谓后代兵部的滥觞。皇帝委任“都督中外诸军事”作为最高军事统帅，代表皇帝统率与指挥全国军队。
曹魏后期，君权衰微，曹爽以大将军、都督中外诸军事、录尚书事、侍中的多重身份，集军政大权于一身，皇帝实同傀儡。正始十年(公元249年)“高平陵之变”后，曹魏的军政大权又旁落于司马氏家族手中。甘露五年(公元260年)，司马昭“以相国总百揆”，（《晋书》卷2《文帝纪》），相府凌驾于朝廷之上，成为实际上的最高军政权力中心。司马昭既是最高行政首脑，又是最高军事统帅，魏王朝已经名存实亡。
蜀汉的创立者刘备在起兵后，长期打着维护与继承汉室的正统旗号。他先以左将军领司隶校尉的名义开府，后又以大司马、汉中王的身分组建益州地区的最高军政权力机构。刘备在自己的统治范围内，同曹操一样，既是最高的行政首脑，又是最高的军事统帅。
诸葛亮任军师将军，作为幕僚长，协助刘备处理军政事务。此外还有长史、主簿、参军等幕僚，分掌军政、民事。章武元年(公元221年)，刘备称帝后，仍然担任最高军事统帅，不仅直接掌握军权，而且亲自率领大军伐吴。诸葛亮为丞相录尚书事，总理众务，丞相府成为蜀汉皇帝统御全国军政的最高机构。
刘禅继位后，耽于游乐，不理朝政，诸葛亮掌握军政大权，是蜀汉实际上的最高军政首脑。丞相府置有军师祭酒、中前后三军师以及司马、参军等主要军事属官。诸葛亮死后。蜀汉不再设丞相一职，以录尚书事、平尚书事或尚书令为最高行政长官，大司马为最高军政长官，大将军为最高军事统帅。如蒋琬、费祎都是以大将军兼录尚书事的身分任最高军政长官，集军事、行政大权于一身。蜀汉末年，姜维任大将军时，加上“都督中外军事”的职衔，成为有职有权的最高军事统帅。
孙权割据江东，继承父兄的未竟之业，先后以讨虏将军、骠骑将军、车骑将军、吴王的名义开府，成为东吴地区的最高军政首脑。将军府或王府就是最高军事机构，孙权自任最高军事统帅，有战事时便临时委任将领以都督、大都督等名义担任参战诸军的主帅，如赤壁之战时以周瑜、程普分任左右督，夷陵之战时以陆逊为大都督。
黄龙元年(公元229年)，孙权称帝，以丞相为最高行政长官，左、右大司马主管军事行政，大将军或上大将军为最高军事统帅。不过孙权在位期间，军政大权高度集中于皇帝手中，丞相没有实权，由尚书令、中书令、侍中等参与军事决策，协助皇帝处理军政事务，因而尚书、中书二省为东吴皇帝统御全国军政的最高机构。
孙权死后，继任者一般不再像孙权那样经常直接统率与指挥军队作战，而由大将军掌握军权。最高军事统帅也同曹魏、蜀汉一样，需加上“督中外诸军事”或“领中外诸军事”的职衔。东吴末年。权臣左右朝政，皇帝变成愧儡。如宗室孙峻即以“丞相、大将军、督中外诸军事”的身份，总揽东吴的军政大权。
二、都督制的创立
都督制是曹魏在全国许多地区设置军事辖区，委派都督作为军事统帅的制度，是曹魏军事领导体制的重要组成部分。都督制滥觞于留屯制（参看何兹全《魏晋的中军》，《历史语言研究所集刊》第17本）。
建安初期，曹操兵力并不雄厚，他直接统率军队南征北讨。官渡之战后，曹操相继占领冀、青、幽、并诸州，逐步统一北方。与此同时，由于在兼并战争过程中大量收编北方各地的割据武装与农民起义武装，曹操拥有的军力也大为增强。随着统治区域和战争规模的扩大，曹操不可能再像过去那样亲自参加并直接指挥各次战役。当派出几支本来互不相属的部队参加同一战役或驻守新占领的同一地区时，为了统一指挥，便临时委派一名将领以都督的名义担任主帅，总统诸军。曹魏委派都督，最早见于建安三年(公元198年)，曹操命钟繇“持节督关中诸军”（《三国志》卷13《魏志·钟繇传》及同书卷21《卫凯传》注引《魏书》）。
此后派遣都督日见增多。如建安十六年(公元211年)命曹仁率诸将拒撞关，破马超于渭南，后又督7军讨田银。建安二十一年(公元216年)派夏侯惇都督26军，守居巢。大约到曹丕代汉称帝前夕，委任都督己经制度化、经常化，“置都督诸军，东南以备吴，西以备蜀，北以备胡，随其资望轻重而加以征、镇、安、平之号"（《资治通鉴》卷80《晋纪》武帝咸宁五年胡三省注）。
黄初元年(公元220年)仅见于史传的都督即有曹仁、曹休、夏侯尚、曹真、夏侯懋、吴质、臧霸等7人，各都督的辖区或为一州，或为数州，权限也不完全相同。曹魏前期曹氏掌权时，都督只设置于荆、豫、扬、幽、冀、并、雍、凉、青、徐10州；曹魏后期司马氏掌权时，腹心地区也设置都督，如都督兖州与督邺城守。
曹魏的都督虽然驻守于地方，其身分仍是中央官员，并受中央的严格控制和监督，没有皇帝的同意，不得擅自出兵和募兵，且经常调动，出镇时家属作为人质留在京城。都督的主要佐吏长史、司马、参军等，由中央委派。皇帝还派军师为监军，监视和节制都督的行动。曹魏推行的上述措施，对于加强中央集权，防止将帅擅兵，巩固国家统一起过一定的积极作用。
不过，都督手握重兵长驻地方，不可避免地会由中央集权的代表蜕变为地方势力的代表，危害中央集权。这种弊端在曹魏末年已经明显地暴露出来（参看陈琳国《论魏晋南北朝都督制》，《北京师范大学学报》1986年第4期），从而都督制的积极作用也就逐渐为消极作用所取代。
蜀汉实行与曹魏都督制相类似的制度。如曾任魏延为汉中都督、邓芝为江州都督、廖化为永安都督。蜀汉都督统率的军队同样是派驻于战略要地的中央军。但蜀汉都督并不一定都由将军担任，如严丰为江州都督、李恢为庲降都督，二人都是文官。
与曹魏、蜀汉不同，东吴所设的都督，则遍于京畿和地方，凡是统率中央直辖军屯驻于一个战略要地的，都称为督或都督。长江一线与东南沿海是东吴的重点布防区，缘江自西而东置有信陵、西陵、夷道、乐乡、江陵、公安、巴丘、蒲析、丐中、夏口、武昌、半州、柴桑、吉阳、皖口、濡须、芜湖、徐陵、牛渚诸督，沿海自北而南置有吴郡、三郡(会稽、临海、建安)、广州、交州等都督（谢钟英:《三国疆域志补注》），东吴的都督一般都由将军担任，有的还兼领刺史或太守。
与曹魏不同，蜀汉的都督都以郡为辖区范围；东吴的督、都督辖区范围大小不一，州、郡、县均有，其中郡级居多。都督的辖区范围既小，领兵人数亦少，而都督的员额却很多，兵力布署比较分散，因而蜀汉、东吴的都督一般不大可能像曹魏末年的都督那样，演变成为危害中央集权的地方势力。
三、州郡领兵制的重建
建安前期，州郡一般不领兵，屯驻于地方的军队基本上是各地都督所统率的中央军。建安十三年(公元208年)曹操任丞相后，接受主簿司马朗的建议，于部分州郡置兵，“外备四夷，内威不轨”（《三国志》卷15《魏志·司马朗传》）。至明帝太和年间(公元227一233年)，曹魏所辖十二州之中已有荆、扬、青、徐、幽、并、雍、凉8州置兵，置兵的郡也有近20个之多。曹魏末年，除司州外，诸州普遍置兵。州郡兵归州郡的长官统辖。
曹魏的地方行政体制为州、郡、县3级制。州置刺史或置牧，多加将军名号，也有少数是以持节都督兼任，不兼军职的叫“单车刺史”。郡置太守，领兵的加将军名号；置都尉一至二人，为专职的郡级军事长官。不论都督兼任刺史与否，州一级一般都有军府与州府两套机构并置，各司其职。都督兼任刺史或刺史加将军名号，集军事权力与行政权力于一身，屯驻地方的中央军与地方军的界限逐渐消泯，这就为地方势力的发展大开方便之门。
同曹魏一样，蜀汉、东吴也重建了州郡领兵的制度。蜀汉仅有益州一州之地，各郡太守领兵多少不一，少数边郡的兵力可达四五千人，一般的郡则兵力要少得多。东吴的地方行政体制虽然也是州郡县3级制，但“多以诸部都尉为郡”（《宋书》卷40《百官志下》），各郡诸部都尉属准郡级建制，下有若干属县。东吴的州刺史、郡太守、诸部都尉都可以领兵。如黄盖任武陵太守时，领有郡兵五千人。