司马遹幼年聪慧，很受祖父晋武帝的喜爱，常在晋武帝身边。三四岁了，晋惠帝还不知道有这么个儿子。司马遹曾经与其他皇子一起在殿上嬉戏，晋惠帝来听朝，拉着各位皇儿的手，接着临到司马遹，晋武帝说：“这是你的儿子啊！
司马遹五岁时，宫中曾经晚上失火，晋武帝登楼远望。司马遹拽着晋武帝的衣襟到暗处。晋武帝问他原因，司马遹说：“夜晚仓卒之间，应该防备非常变故，不应让火光照见陛下。”晋武帝因此认为他是奇才。司马遹曾经一次跟着晋武帝观看猪圈，对晋武帝说：“猪很肥，为何不杀掉来犒劳将士大臣，却让它们在这里浪费粮食呢？”晋武帝认为他的主意很好，于是马上让人杀掉这些猪赏赐群臣。并抚摸着司马遹的背，对廷尉傅祗说：“这小儿将来会兴旺***家呀！”后来，晋武帝当着群臣称赞司马遹像晋宣帝司马懿，从此司马遹的美名便流传天下了。
司马遹恐怕被毒死，常常自己煮饭吃。孙虑把要毒死司马遹的事告诉了刘振，刘振便把太子迁居在小坊中，断绝他的饮食，宫中还是在墙壁上给太子放置饮食。孙虑便逼司马遹服药，司马遹不肯服，便到厕所，孙虑用药杵把他打死，司马遹大声叫喊，喊声传到外面。司马遹死时二十三岁。