유력한 사마 가문에서 태어났으며, 후한 왕조가 군벌과 조정 내 파벌 싸움으로 약화되던 시기였다. 지역의 군사화가 진행되는 환경에서 성장하며 역사·법·국정 운영을 중시하는 고전 교육을 받았다.

조조가 중국 북부를 통합해 가는 과정에서, 사마의는 날카로운 판단력과 신중한 처신으로 지역에서 알려졌다. 훗날 병을 가장했다는 이야기로 전해지는 조심스러운 태도는 혼란한 권력 정치에서 강력한 후원자를 섬기는 위험을 보여준다.

사마의는 조조의 확장되는 관료 조직에 발탁되어, 문서 처리의 정확성과 정치적 신중함이 요구되는 직책을 맡았다. 위나라 조정의 분위기 속에서 군사 권력과 문치 행정이 서로를 강화하는 방식을 배웠다.

조조가 위 공으로 격상되자, 사마의는 정책과 인사에 연결되는 더 민감한 자문 역할로 진출했다. 그는 관료들 사이에서 연대를 쌓는 한편, 오래된 조씨 측근들과의 공개적인 경쟁은 조심스럽게 피했다.

조비가 헌제를 퇴위시키고 위 왕조를 세운 뒤, 사마의는 새 황제 체제에 빠르게 적응했다. 그는 취약한 정통성의 이양기 동안 조정의 운영 관례와 지휘 체계를 안정시키는 데 기여했다.

조예가 조비의 뒤를 이은 뒤, 조정은 왕위를 지키기 위해 경험 많은 관료와 장군들에게 의존했다. 사마의는 위나라 유력층의 동맹이 흔들리는 가운데 국정 처리와 군사 기획을 담당하며 위상을 높였다.

제갈량이 한중에서 첫 대규모 북방 원정을 시작하며 국경의 위나라 방어선을 시험했다. 사마의는 대응을 조율하는 데 관여하며, 보급의 안전·요새화된 거점·촉군이 결전장을 만들지 못하게 하는 데 중점을 두었다.

촉나라의 반복된 진격 속에서 사마의는 소모전과 병참을 우선하며, 험준한 지형을 통한 제갈량의 보급선을 길게 늘어뜨리도록 만들었다. 위나라 지휘관들은 한 번의 극적인 회전보다 요충 관문과 곡창을 지키는 데 집중했다.

오장원에서 사마의는 도발에 응하지 않고 방어 태세를 유지해 촉군을 지치게 했다. 원정 중 제갈량이 사망했고, 위나라의 꾸준한 봉쇄는 국경을 보전하며 사마의의 명성을 높였다.

사마의는 요동을 지배하며 위나라와 오나라 사이에서 외교를 오가던 군벌 공손연을 치기 위해 대원정을 이끌었다. 양평에서의 장기 포위와 수공 전술 끝에 성을 함락하고, 동북 지역에 대한 위나라의 지배를 재확립했다.

조예가 사망한 뒤 조방이 어린 나이로 즉위하자, 권력은 사마의와 조상이 이끄는 섭정 체제에 집중되었다. 두 사람의 협력은 불안정했으며, 각자는 인사·군권·어린 황제에 대한 접근을 두고 영향력을 다투었다.

조상은 원로 관료들을 밀어내고 측근을 중용하며, 자신의 집단을 중심으로 지휘 체계를 재편했다. 사마의는 은퇴와 병약함을 내세워 몸을 낮추는 한편, 조정의 파벌과 군대 충성 관계를 조용히 파악했다.

조상이 황제 조방을 모시고 고평릉에 나가자, 사마의는 군사를 움직여 낙양과 주요 성문을 장악했다. 사마부 같은 관료와 궁중 수비대의 지원을 바탕으로 조상에게 항복을 강요하고 그 세력을 해체했다.

항복 조건이 제시된 뒤에도 조상과 가까운 친족들은 처형되었고, 정부와 군에서 핵심 지지자들 또한 함께 숙청되었다. 이 숙청은 사마의의 권위를 확실히 했으며, 위나라의 실권이 사마 가문으로 निर्ण 결정적으로 넘어갔음을 보여주었다.

장군 왕릉은 황제 조방을 갈아치우려는 계획을 꾸몄는데, 이는 국가 내에서 사마 가문의 우위에 대한 저항을 반영했다. 사마의는 신속한 동원과 압박으로 음모를 분쇄해, 위나라 지휘관들의 추가 도전을 억제했다.

사마의는 섭정 권력이 가족과 측근 관료들에게 확고히 장악된 상태에서 사망했고, 아들 사마사와 사마소가 권력을 이어받을 수 있는 위치에 올랐다. 그가 구축한 정치 구조는 위나라의 찬탈과 사마염에 의한 진 왕조 성립으로 이어졌다.