汲黯时常和张汤争辩，他曾怒不可遏地骂张汤说：“天下人都说绝不能让刀笔之吏身居公卿之位，果真如此。如果非依张汤之法行事不可，必令天下人恐惧得双足并拢站立而不敢迈步，眼睛也不敢正视了！”
汲黯因犯小法被判罪，适逢皇上大赦，他仅遭免官，汲黯就归隐于田园。过了几年，遇上国家改铸五铢钱，老百姓很多人私铸钱币，楚地最严重。汉武帝认为淮阳郡是通往楚地的交通要道，就征召汲黯任他为淮阳郡太守。汲黯向皇上告别后，又去探望大行令李息，他说：“我被弃置于外郡，不能参与朝廷的议政了。可是，御史大夫张汤他的智巧足以阻挠他人的批评，奸诈足以文饰自己的过失，他一心去迎合主上的心思，而不考虑天下人的安危，皇上不想要的，他就顺其心意诋毁；皇上想要的，他就跟着夸赞。您位居九卿，若不及早向皇上进言，您和他都会被诛杀的。”李息害怕张汤，始终没有向汉武帝进谏。
汲黯治理郡务，一如往昔，淮阳郡政治清明起来。后来，张汤果然身败名裂。武帝得知汲黯当初对李息说的那番话后，判李息有罪，诏令汲黯享受诸侯国相的俸禄待遇，依旧掌管淮阳郡。
刀笔之吏一般都是阴狠毒辣之人，这类人身居高位，容易睚眦必报，不利于大局，更不利于政治稳定！
