刘邦攻打楚国，在彭城失利后从梁地撤退，来到虞县，很沮丧地对身边亲近的人说：“像你们这些人，不配共同谋划天下大事。”负责传达禀报的随何近前说：“我不理解陛下说的是什么意思？”汉王说：“谁能替我出使淮南，让他们发动军队，背叛楚国，在齐国把项羽牵制几个月，我夺取天下就万无一失了。”随何见刘邦看不起读书人，就请求去试试，刘邦给了他二十人一同出使淮南。到达后，淮南王接见了他。随何问淮南王为什么和楚国那么亲近？淮南王说：“我以臣子的身份侍奉他。”随何劝说道：“只要您出兵背叛楚国，项羽一定会被牵制，只要牵制几个月，汉王夺取天下就可以万无一失了。汉王一定会分割土地封赐大王，又何况你这淮南，必定还是你的啊。”淮南王英布也是明白事理的人，知道天下大势所趋，就听从了，出兵攻打楚国。
后来天下平定，刘邦置酒设宴，却贬低随何的功劳，说随何是迂腐保守、不合时宜的读书人，治理天下怎么能任用这样的人呢。随何就说：“当陛下带兵攻打彭城时，项羽还未曾出兵去齐国，陛下调动步兵五万，骑兵五千，能凭这点兵力夺取淮南吗？”刘邦说：“不能。”随何说：“陛下派我和二十人出使淮南，一到，陛下就如愿以偿，这是我的功劳比步兵五万、骑兵五千还要大呀。可是陛下说我是迂腐保守不合时宜的读书人，这是怎么回事呢？”刘邦感到很羞愧，就任用随何为护军中尉。
