在河内太守张杨、兴义将军杨奉等残余朝官的保护之下，回到了洛阳。
此后，杨奉被拜为车骑将军，驻兵大梁。徐晃见大将军兼司隶校尉韩暹和卫将军董承之间争斗日益加剧，就劝杨奉归附曹操，杨奉决定听从徐晃的建议。
建安二年(197年)，曹操保护着汉献帝要迁都许县的时候，杨奉在韩暹的挑拨下又改变了归附曹操的主意，而是跟韩暹一起出兵去劫驾。
杨奉在梁(今开封)被曹军杀得大败。徐晃则趁机投奔了曹操。从此，他便成为曹操的一名忠实战将，跟随曹操转战南北，为曹魏的创建，屡立功勋。
曹操分兵给徐晃，派其攻打卷、原武两地，破之，被拜为裨将军。又随曹操攻吕布，降吕布将领赵庶、李邹等。后与史涣在河内斩杀眭（suī）固。
建安五年(200年)，在徐州之战中，徐晃随曹操击败了投靠袁绍的刘备。
在官渡之战中，曹操以张辽、关羽为先锋，击败颜良。
徐晃也从征此次战役，攻克白马(今河南滑县东北)。
后来，曹军进至延津(今河南延津北)，曹操采用荀攸之计，以辎重为诱饵，使得文丑军队陷入争抢的混乱之中。徐晃等人立刻进攻，在此击败文丑。徐晃因此被拜为偏将军。
后与曹洪击濦（yī
）人祝臂，破之。九月，曹操出兵与袁绍作战，不胜而还，坚壁自守。时袁绍数千车粮草至官渡。
谋士荀攸对曹操说,“袁绍的运粮车旦夕间就到了，其押运粮草的将领韩猛勇猛但轻敌，出击可以将他打败。”
曹操问，“谁可以担当这个重任？”
荀攸说，“徐晃可以。”
于是曹操派徐晃和史涣带着几千骑兵共同攻打韩猛，在故市(今郑州西北)截烧其辎重。此战，徐晃功劳最大，被封为都亭侯。
建安九年(204年)二月，曹操利用袁绍死后袁谭和袁尚争立后嗣的矛盾，发兵北上攻打冀州。
曹操包围了邺（yè）城，攻破了邯郸，易阳令韩范诈降而自守，曹操派徐晃前去攻打，徐晃兵临城下，给韩范写了封信，用箭射入城中，陈明利害，劝韩范投降。韩范被说服后改变主张，决定以全城投降。
徐晃劝告曹操说，“如今袁谭、袁尚还没有被击败，没有攻下的城池都等待消息，如果今日灭了易阳（韩范的字），明日那些城池都会死命防守，河北就没有平定的那一天了。请求您招降易阳来给各城看，那样他们都
…。。