249年，曹爽陪曹芳去高平陵祭祖，司马懿趁机发动兵变，把都城洛阳给拿下来了。曹爽名义上是大将军，手里也有兵权，可他根本不敢跟司马懿硬碰硬，直接就投降了。其实这背后的原因很简单，不光是因为司马懿早就把持了军权，手底下也有一帮心腹在关键位置守着。在这些人中，胡遵绝对是司马懿最信得过的。 高平陵事变后，胡遵坚定地站在司马懿那边。司马懿就给了他很多赏赐，还给他升官。到了252年孙权死的时候，当时的征东将军胡遵、征南大将军王昶还有镇南将军毌丘俭一起上书提议伐吴。三人的主意都不一样，最后朝廷让他们带了三路人马一起出兵。胡遵带着七万人跟镇东将军诸葛诞一起去了东兴（也就是现在安徽含山西南），打算去打濡须水上的吴军堤坝。他们搭浮桥过河在堤坝上摆开阵势，兵分两路去攻打依山建的两座城堡。 结果因为那地方地形太险要，魏军没能很快把城给打下来。十二月的战斗里被东吴的诸葛恪给打败了。到了255年正月，淮南那边又出乱子了，毌丘俭和文钦带着兵造反。司马懿的儿子司马师命令胡遵带着青州和徐州的兵去谯县和宋县之间布防，就是想把叛军的退路给断了。等到七月叛乱平定后，胡遵因为立了功被提拔为卫将军。 256年秋天七月己卯这一天，胡遵去世了。司马昭掌权后追封他做车骑将军，还给了阴密侯的爵位。胡遵死了以后，他的安定胡氏家族渐渐成了魏晋时期的大家族。他有六个儿子，其中最有名的是胡奋，在晋武帝司马炎在位的时候立了好多功，做到了尚书仆射、镇南大将军还有开府仪同三司。胡遵的孙女胡芳更是成了司马炎的贵嫔，是三夫人里的头儿，地位很高。这让胡遵家族从此成了西晋的外戚家族。