淮任门下贼曹，转任丞相兵曹议令史，跟随太祖（曹操）征讨汉中。太祖回朝后，留下征西将军夏侯渊抵抗刘备，任命郭淮为夏侯渊的司马官。
夏侯渊与刘备作战，郭淮当时生病不能出战。
夏侯渊遇害后，军中慌乱不安，郭淮收容逃散的士兵，推举荡寇将军张郃为军中主帅，各营才安定下来。
第二天，刘备想要渡过汉水来进攻。
众将商议敌多我少难以抵挡，刘备容易乘胜攻击，想要依傍汉水摆下阵势抵挡刘备。
郭淮说，“这样显示自己软弱，不足以挫败敌人，不是好的计策。不如远离汉水摆下阵势，引诱敌人渡河攻打，等他们渡到一半时我军再发起进攻，这样就可以打败刘备的军队。”
阵势列好后，刘备起疑不肯渡河，郭淮就坚守，表示没有后撤的意思。把这些情况报告上去，太祖认为这样做很好，授给张郃符节，又任命郭淮为司马。
文帝即魏王位，赏赐郭淮爵位为关内侯，转任镇西长史。又代理征羌护军，监督左将军张郃、冠军将军杨秋讨伐山里的贼寇郑甘、卢水等反叛的胡人，都打败扫平了他们。关中才开始安定，百姓得以安居乐业。
黄初元年，郭淮奉命出使祝贺文帝即位。但他在半路上生了病，所以按路途远近计算是延迟了到达的时间。
到群臣欢聚时，文帝脸色严肃地责备他说，“过去大禹在涂山会集诸侯，防风迟到，就将他杀了。现在普天同庆的时候你却迟到了，为什么呢？”
郭淮回答说：“我听说五帝先用德行教导民众，夏后时政治衰落，才开始用刑法。现在我遇到的是唐尧、虞舜那样的盛世，因此我知道能够免除防风那样的被诛杀的命运。”
文帝听了很高兴，提升他兼任雍州刺史，封射阳亭侯，五年后正式任命为雍州刺史。
安定羌的大帅辟蹏（tí）反叛，郭淮征讨打败了他。
每当羌人、胡人来投降，郭淮就先派人询问，了解他们的亲戚关系，男女多少，年岁大小。等到见面时，能逐一知道他们的详细情况，问起话来周到详尽，见面的人都称赞他神明。
嘉平元年，升任征西将军，统领雍州、凉州的军务。
这一年，郭淮和雍州刺史陈泰协同策划。在翅上招降蜀国牙门将句安等人。嘉平二年，皇帝下诏说：“过去汉川战役，几乎全军覆没，郭淮面临危险解救急难，功劳记载在朝廷里。在关右三十多年，对外征讨贼寇，对内安抚百姓和夷人。近年来，打败
…。。