太尉一職始設於秦朝，分管全國的軍事，相當於軍委主席。職權最高時期是在西漢、曹魏時期，在西漢時不常設，之外的時期便成為榮譽性虛職。明朝時徹底廢除太尉。宋徽宗年間重定武官制度後，宋代太尉成為武階官之首，相當於一國之國防部長。
秦始皇統一六國後建立中央集權制度，在中央設三公九卿，分掌全國事務。其中三公為丞相、太尉和御史大夫。丞相分掌行政權，太尉分掌兵權，御史大夫分掌監察權。
秦朝雖然設立了太尉，而職位一直空缺，因為秦始皇不想讓別人掌握軍權。
漢承秦制，也設有太尉一職，不過西漢時期的太尉並不常設。西漢第一任太尉為盧綰，是劉邦的近臣發小，不過盧綰後來造反，太尉一職暫時撤銷，職權歸於丞相，後來由周勃接任。
