这时，他听说孙权在江东“招延俊秀，聘求名士，鲁肃、诸葛瑾等始为宾客”，便决定前去投效。
甘宁路经夏口（今湖北武汉），部队不得过，只好暂且依靠江夏太守黄祖。
建安八年（203年），孙权领兵西攻江夏，黄祖大败，狼狈逃溃。
甘宁将兵为其断后。他沉着冷静，举弓劲射，射杀孙权的破贼校尉凌操。
孙军不敢再追，黄祖性命这才得以保全。
甘宁立下大功，可黄祖仍不重用，甘宁也想弃之而去，只是没有一条万全的途径，因而，独自忧愁苦闷，无计可施。
苏飞察知甘宁之意，邀请甘宁，置酒欢宴，酒酣之际，对他说：“我数次推荐，主上不肯任用您。日月流逝，人生几何？应该早做长远打算，寻一个知己，成一番大事！”
甘宁停了一会，说：“我也想走，可惜没有合适的机会。”
苏飞说：“我请主上派你去做邾（今湖北黄冈西北）长，那时，你可以自己决定去就。”
甘宁非常高兴。
于是，苏飞提出让甘宁任邾长，黄祖同意。
甘宁招回原来离去的一些手下，又聚集一些愿意相从的人，带着他们投奔了孙权。