颜异因廉洁正直逐步升到九卿高位。汉武帝和张汤商议要制造“白鹿皮币”时，曾询问颜异的意见，颜异说：“现在藩王和列侯朝贺时的礼物，都是黑色璧玉，价值才数千钱，而用作衬垫的皮币反而价值四十万，本末不相称。”汉武帝听了很不高兴。张汤是有名的酷吏，与颜异本来就有矛盾，听了这番意见后，心中更加反感。没过多久，恰巧有人来告发颜异，说他非议朝廷，而朝廷让张汤来审理这一案件。
张汤早就想报复颜异，这次机会来了，他自然十分高兴。他想方设法搜集、寻找颜异的罪行。有一次，一位趋炎附势的门客与颜异交谈，谈起了朝廷新颁布的白鹿皮币的法令，说法令中有不够恰当的地方，然后有意地观察颜异的反应。颜异这回比较谨慎，并没有接这话茬儿，只是嘴唇微微一撇，实际上是一句话也没讲。然而张汤根据这一密报，居然定下了颜异的罪行。张汤上奏章给皇上，说颜异身为九卿，看到新的政令有不合适的地方，不上朝进言，却在肚子里诽谤，应当判处死罪（原文是“汤奏当异九卿见令不便，不入言而腹诽，论死”）。结果颜异真被张汤处死了。从此，“腹诽”就成了一种不成文的罪名。在旧社会，凡是诬陷人时往往就援引这一例子，定人家腹诽的罪。