从此高欢成为尔朱荣的首席军师和心腹。尔朱荣公开表示，能代替他统领全军的人，唯有贺六浑（高欢）。
高欢追随尔朱荣征战期间，娄昭君留在家里照顾一家老小。天冷了，她就出门，在帐篷外燃马粪取暖，还不时制作棉靴，赠予亲族部属，与他们一起吃大锅饭，共渡难关。
528年，孝明帝元诩被灵太后毒杀，尔朱荣以此为借口率军南下，假称丞相高阳王元雍谋反，随后纵兵屠杀几千个朝臣，血流成河，制造了骇人听闻的河阴之变惨案。尔朱荣安插自己的亲信心腹占据朝廷要职，彻底掌控了北魏朝政。
尔朱荣擅权期间，重用酷吏，任人唯亲，长期折磨虐杀六镇降兵，致使十几万人丧命。其兄弟子侄在尔朱荣的纵容包庇下，也施政残暴，多行不法，动辄屠杀数万降兵，替尔朱荣私吞国家赋税，买卖官位大肆敛财，奸淫掳掠，从不顾念百姓死活，导致北方百姓民不聊生。百姓们对尔朱荣都心怀怨恨。
530年八月，尔朱荣擅自带领精锐部队逼近洛阳，意图谋朝篡位，终被孝庄帝元子攸亲手斩杀。
尔朱荣被杀的消息传出，民众欢呼沸腾，“内外喜叫，声满京城”。
尔朱荣死后，他的军队由其他的侄子尔朱兆掌握。
这时高欢已经不想再替尔朱家族“打工”了，他要自己拉军队创业。
他瞄准了葛荣战败后被尔朱荣收编的军队。这支军队以怀朔镇人为主，虽然归降了尔朱荣，但经常受尔朱家族的嫡系兵欺侮。
于是高欢一方面以同乡关系相号召，另一方面诈称“尔朱兆要把你们当奴隶”。惊慌之下，这支军队集体奉高欢为主，希望在他的带领下“当家做主”。
刚刚缢死孝庄帝、掌握北魏朝政的尔朱兆，对六镇降兵头疼不已，就向高欢问计。高欢趁机说，您只要选一个心腹之人统领六镇降兵，再有叛乱发生，就拿将领问罪，不能每次都杀掉大批士兵。
尔朱兆问，谁能当好这个统领呢？
当时一起在座饮酒的贺拔允赶紧接口：我觉得高欢挺好的。
高欢佯装大怒，一拳将贺拔允的门牙打落，接着骂道：“太原王（尔朱荣）在世时，说怎样就怎样，现在太原王死了，天下事都听大王（尔朱兆）的。你是什么东西，大王没发话怎么轮到你说三道四！”
尔朱兆很感动，趁着酒劲宣布高欢为六镇降兵的统帅。
高欢大喜，担心尔朱兆酒醒后反悔，赶紧冲出大营对众人宣布道：“我受大王命令统
…。。