司马氏是高阳之子重黎的后裔，即夏官祝融。远古至商朝世代袭承夏官这一职位，到了周朝，夏官改称司马。周宣王时，先祖程伯休父平定徐方有功，恩赐司马为族姓。司马懿的十二世祖司马卬随项羽灭秦，受封殷王，建都河内。汉朝时成为河内郡，司马家族世代居住在此地。司马懿的高祖父司马钧为汉安帝时的征西将军，曾祖父司马量为豫章（今江西南昌）太守，祖父司马儁为颍川太守，父亲司马防为京兆尹。司马防育有八子，因字中都有一个“达”字，当时号称司马八达。晋武帝司马炎诏书说：“本诸生家，传礼来久。”司马懿是司马防的次子，少年时期就胸怀谋略。东汉末年，司马懿生于乱世，“常慨然有忧天下心”。南阳太守杨俊素以知人善任著称，司马懿二十岁前，杨俊曾见过他，说他绝非寻常之子。尚书崔琰与司马懿的兄长司马朗交好，曾对司马朗说：“你弟弟聪明懂事，做事果断，英姿不凡，不是你所能比得上的。”
司马懿少年时和著名隐士胡昭关系很好。因与同郡的周生等人结怨而被谋害，胡昭知道后立刻涉险寻找，在崤山渑池之间找到周生一行，请求他们放过司马懿，周生开始不肯，但胡昭哭泣的诚意最终还是感动了他，救下司马懿。建安六年（201年），郡中推荐司马懿为上计掾。当时曹操正任司空，听说司马懿的名声后，派人征辟他到府中任职。司马懿见东汉政权已经被曹氏控制，曹氏又是阉宦之后，不想屈节在曹操手下，便借口自己有风痹症，身体不能起居而不出仕曹氏。曹操不相信，派人夜间去刺探消息，司马懿躺在那里，一动不动，像真染上风痹一般。
建安十三年（208年），曹操为丞相以后，使用强制手段征召司马懿为文学掾。曹操对使者说，他如果还和以前一样躺在床上不出仕，便将他逮捕。司马懿听说后非常畏惧，只得就职。曹操让他与太子往来游处，历任黄门侍郎、议郎、丞相东曹属、丞相主簿等职。而据《魏略》则记载，司马懿好学，曹洪自以为才疏，想让司马懿去帮助他，司马懿耻于和曹洪来往，假装拄拐不去。曹洪记恨司马懿，去跟曹操打小报告，曹操征召司马懿，司马懿立刻扔了拐杖去见曹操为其效命。曹操逐渐察觉司马懿“有雄豪志”，又发现他有“狼顾之相”，心里很忌讳。因此对曹丕说，司马懿不是甘为臣下的人，必会干预我们的家族之事。但因曹丕和司马懿关系很好，总是维护他，而得以无事，于是，司马懿勤于职守，废寝忘食，遂使曹操安心。建安二十年（215年），曹操征讨张鲁，司马懿随军。他对曹操说：“刘备用诡计俘虏刘璋，蜀中之人还未曾归附他就又兴兵争夺江陵，这正是破刘的大好时机。今若在汉中陈兵示威，益州（指蜀地）就会震动不安，再进兵威逼，蜀兵势必瓦解。趁这个机会，一定能大功告成。圣人不能违时，也不能失时。”但是曹操却说：“人苦于不知足，已经得到了陇右，还想得到蜀地，这是人心无足。”所以没有听从司马懿的计策。既而司马懿跟从曹操南征孙权，大破孙权。大军回军之后，孙权遣使乞降，向曹操上表称臣，陈说天命，劝说曹操称帝。曹操说：“孙权小儿这是想要把我放在炉炭上啊1司马懿对答说：“汉朝的国运将要终结，您十分天下而有其九，还臣服听命于汉。如今孙权称臣，是顺应天人之意。”
建安二十四年（219年），司马懿升任太子中庶子，佐助魏太子曹丕。当时司马懿每次参与谋划，都有奇策，所以为曹丕所信任和重用，与陈群、吴质、朱铄并称“四友”。司马懿转任军司马，建议屯田解决粮食问题，得到曹操的采纳。他指出荆州刺史胡修粗暴，南乡太守傅方骄奢，都不应驻守边防，曹操未予重视。同年，关羽围曹仁于樊城，水淹于禁七军，斩庞德。胡、傅二人果然乘机降蜀。一时间关羽声势“威震华夏”。因汉献帝在许县，距樊城很近，曹操感到威胁，为避关羽锋芒，一度准备迁都黄河以北。司马懿和曹椽蒋济及时劝阻说：“于禁被大水所淹，不是战守上的失误，对于国家的大局并没有大损失，为此而迁都，即是向敌人示弱，又会使淮河、汉水一带人心不稳；刘备、孙权外亲内疏，如今关羽坐大，孙权必定不安，把这件事告知孙权，使他牵制关羽，则樊城之围自解。”曹操从其计，孙权果然派吕蒙袭取公安，关羽被其俘杀。之后曹操认为荆州遗民及在颍川屯田的军民逼近南方的敌对势力，想把他们迁走。司马懿认为：“荆楚之民大多轻脱，轻易移动怕是难以安定。如今关羽刚刚被击破，藏窜逃亡者也在观望时局。如今将那里的人迁徙，既伤当地人的心意，也令想要回来的人不敢复还。”曹操听了他的建议，没有移民。之前藏窜逃亡者果然都复出归化。延康元年（220年），曹操去世，朝野危惧，司马懿管理丧葬诸事，内外肃然，并奉曹操梓宫回到邺城。同年，曹丕即魏王位，司马懿受封河津亭侯，转丞相长史。当时孙权正率军向西。朝臣们认为樊城、襄阳缺乏粮，不能抵御吴军，请召守将曹仁回驻宛城（今河南南阳宛城区）。司马懿则表示：“孙权刚刚打败关羽，正是他想和魏国结好的时候，一定不敢为患。襄阳是水陆交通要地，不能放弃。”曹丕没听其建议，命曹仁放火烧毁二城。后来孙权果然没来入侵。曹丕悔之不及。
魏文帝黄初元年（220年）十一月，曹丕登皇帝位，史称魏文帝。曹丕登基后，任命司马懿为尚书，不久转督军、御史中丞，封安国乡侯。黄初二年（221年），免去督军官职，升任侍中、尚书右仆射。黄初五年（224年），曹丕伐吴，临江观兵。司马懿奉命镇守许昌，并改封司马懿为向乡侯，转抚军、假节，领兵五千，加给事中、录尚书事。司马懿力辞不受，曹丕说：“朕夜以继日处理国家大事，没有须臾片刻的休息时间。如今册封你不是加以优荣，而是要你为我分忧。”黄初六年（225年），曹丕再次大兴舟师伐吴，命司马懿留守许都，对内镇抚百姓，对外为大军提供军资。临行，曹丕下诏给司马懿说：“我深深地担心后勤和朝内之事，所以将这些大事委托给你。历史上曹参虽多有战功，但是萧何在后方的支持才更为重要。如今你留守后方，使我无西顾之忧，这可行吗1之后曹丕由广陵（今江苏扬州广陵区）回师京都，又下诏对司马懿说：“我向东用兵孙权，你该总理京都洛阳的事情；我在洛阳，你则应当总理东征孙权的战事。”于是又命司马懿留镇许昌。黄初七年（226年）五月，曹丕病重。临终时，令司马懿与中军大将军曹真、镇军大将军陈群、征东大将军曹休为辅政大臣。曹丕对太子曹叡说：“在这里的三位重臣，一定不要怀疑他们。”曹叡即位，改封司马懿为舞阳侯。孙权得知魏文帝去世后，于八月出兵攻魏。命诸葛瑾、张霸兵分两路进攻襄阳，亲自率军进攻江夏郡（治石阳县，即今武汉黄陂西南）。司马懿击退了孙权，又击败诸葛瑾，并斩杀张霸，斩首千余级。十二月，司马懿升任骠骑将军。
太和元年（227年）六月，魏明帝曹叡命司马懿驻扎宛城，加督荆、豫二州诸军事。蜀将孟达降魏时，魏待其甚厚，司马懿认为他言行倾巧，不可信任。但曹叡不听，任命孟达领新城（今湖北房县）太守。曹丕死后，孟达失宠，蜀丞相诸葛亮即暗中与之通信，图谋叛魏。诸葛亮恐他言行反复无常，想促他速叛，知魏兴太守申仪和他有矛盾，便派郭模到申仪处诈降，有意泄露其事。孟达闻此泄露，准备马上起兵。申仪将此事密告司马懿后，司马懿怕他突然发难，给他去信，详为慰解。孟达得信大喜，但是犹豫不决。司马懿则暗中率军进讨，诸将见孟达与吴蜀交接，劝司马懿先观而后动。司马懿说：“孟达没有信义，现在正是他犹豫不决之时，应当趁他没有决定而及时平定他。”司马懿亲自率军日夜兼程前去讨伐孟达，八天抵达新城城下。吴、蜀派出援兵解救孟达，被司马懿部拦阻于西城的安桥、木兰塞等地。此前，诸葛亮曾告诫孟达加紧防范，孟达写信给诸葛亮认为：“宛城和洛阳相距八百里，离我处一千二百里，上表给天子，来回路程，少需一个月，那时我的城池已修固，诸军都作好了准备。我驻扎的地形深险，司马懿必不会亲自来，其他部将来，则不足为患”。而司马懿先斩后奏，仅八日就兵临城下，孟达又写信给诸葛亮，惊叹：“我想要举事，而司马懿八日就兵临城下，何其神速也1上庸城（今湖北竹山县西南）三面环水，孟达在城外树立木栅，加固城防。司马懿挥师渡水，毁其木栅，直逼城下。太和二年（228年）正月，司马懿兵分八路攻城，仅十六天，孟达的外甥邓贤、部将李辅开城投降。魏军入城，擒斩孟达，传首京师，俘获万余人。司马懿回军，仍驻宛城，奖劝农桑，禁止浪费。南方吏民心悦诚服。
起初，申仪久在魏兴郡，专威弄权，擅自借皇帝名义刻制印信，私相授予。孟达被杀之后，申仪自生疑虑。当时各郡郡守见司马懿克敌制胜，纷纷奉礼祝贺。司马懿听之任之，并让人向申仪暗示。申仪只好前来祝贺。司马懿乘机将他收捕，送往京师。司马懿又将孟达余众七千余家迁往幽州。不久蜀将姚静、郑他等率其部属七千余人来降。当时边郡新附，户口不实。朝廷想加以核实，请司马懿进京，征询他的意见。司马懿认为：“叛贼以严苛的法令约束部下，所以被部下遗弃。应该以宽和待他们，那就会自然安乐”。曹叡又问他吴、蜀都该讨伐，应该先从何处着手？司马懿回答说：“吴国认为我们北兵不习惯水战，所以才敢散居东关。只要攻打敌军，一定要扼住敌军的咽喉而撞击他们的心脏，而夏口、东关就是吴军的心喉。如果在陆上以军攻打皖城，因孙权的兵马东下，派水师攻向夏口，乘其虚而击之，一定能大破吴军。”曹叡对他的看法深以为然，再次命司马懿屯兵宛城备战。八月，大司马曹休不依计划，迳下皖城深入敌境接应诈降的吴将周鲂，在石亭被陆逊伏击，大败，曹休病死。