派遣骠骑将军霍去病，率领骑兵一万，自陇西出发北击匈奴，越过焉支山一千余里，切断匈奴右臂，执浑邪王子，缴获了休屠王的祭天金人。
至夏，霍去病经居延及小月氏攻祁连山浑邪、休屠二王，使他们遭到惨重打击。同年秋，匈奴单于因浑邪王屡为汉军所破，伤亡数万，怒不可遏，欲召诛浑邪王。浑邪王便说服休屠王共同降汉。
而休屠王因其部损失不大，估计单于不会杀他，后又中途反悔，浑邪王便杀了休屠王，其众四万余人降汉。汉武帝封浑邪王为列侯。
金日磾因父亲被杀，无所依归，便和母亲阏氏、弟弟今伦随浑邪王降汉，被安置在黄门署饲养马匹，时年仅十四岁。
汉武帝一次在宫中宴游欢乐之极，诏令阅马助兴。当他看到一个体形魁伟、容貌威严、目不斜视的青年牵着膘肥体壮的骏马从殿上走过时，感到很惊讶，就问起这个牵马人的情况。当汉武帝得知金日磾为休屠王之子后，就拜他为马监。之后升迁为侍中、驸马都尉、光禄大夫。
金日磾亲近汉武帝以后，不曾有过失，汉武帝很信任宠爱他，赏赐累积千金，汉武帝外出，他就随侍车驾；在宫中，金日磾就侍候身边。一些贵戚在私下怨恨，说：“陛下不知道在哪得到一个匈奴小儿，反倒十分看重他。”汉武帝听说后，不以为意，反而更加厚待他。
金日磾的母亲教诲两个儿子，很有规矩，汉武帝得知后很赞许。他母亲病死后，汉武帝下诏在甘泉宫为她画像，题名“休屠王阏氏”。金日磾每次看见画像都下拜，对着画像涕泣，然后才离开。金日磾的两个儿子都被汉武帝所宠爱，是汉武帝逗乐子的弄儿，常在皇上身边。有一次，弄儿从后面围住汉武帝的脖子，金日磾在前面，看见后生气地瞪着他。弄儿一边跑一边哭着说：“爹爹发火了。”汉武帝对金日磾说：“干嘛生我弄儿的气！”后来弄儿长大，行为不谨慎，在殿下与宫女戏闹，金日磾正好看见，厌恶他的**，于是杀了弄儿。这个弄儿就是他的长子。汉武帝得知后大怒，金日磾叩头告罪，把为什么杀弄儿的情况一一说出。汉武帝很哀伤，为弄儿掉泪，后因此对他以礼相待。
马何罗兄弟策谋造反，金日磾发现他们神情异样，心里怀疑他们，暗中独自注意他们的动静，与他们一同上殿下殿。汉武帝还未起床，马何罗袖藏利刃，从东厢而上，看见金日磾，神情大变，跑向汉武帝的卧室，不料撞到宝瑟，摔倒在地，金日磾得以抱住马何罗，随即高声呼喊：“马何罗造反！”汉武帝从床上惊起。侍卫拔刀想
…。。