至元六年（1340年）初，伯颜先把燕帖古思叫在身边，出城在柳林打猎。中间，他派人入宫，请元顺帝出城一起参加猎戏。脱脱见事急，忙对顺帝说：“伯颜久蓄异志，此行他又率诸部禁卫军主力出城，必有逆谋。陛下您千万要坚辞不出。”顺帝听计。但是，君臣诸人合计，又担忧伯颜在城外拥燕帖古思窜去上都等地立之为帝，那样更不好办。最后，顺帝派出太子怯薛长（禁卫军负责人）月可察儿夜间偷出城去柳林营帐，把燕帖古思“偷”回城中。同时，脱脱受密旨统辖都城军队，把大都诸门紧紧关闭。
早晨，伯颜率大军返城，见城门紧闭，很是恼火。未待他仰头喝骂，其侄脱脱高立城上，口传圣旨：“诸道随从伯颜者无罪，可即时解散，各还本卫所。罪者惟伯颜一人！”伯颜闻之，心惊胆落，茫然不知所为。
其干儿子詹因不花看到干爹面如土色，出主意道：“可拥兵入宫，问奸臣为谁，尚未晚也。”
伯颜叹息：“皇帝应无杀我之心，实是脱脱贼子误我！”
其实，圣旨一下，伯颜身边的军官们人心已散，直接进攻造反而已是不可能之事。
不大功夫，又有圣旨到，除伯颜为“河南行省左丞相”。伯颜哀求，要入宫陛辞皇帝，使者不许：“皇帝有命，令丞相即时起行，不准入辞！”无奈，伯颜只能孤零零一个人带着几个随从离开大都往河南走。一夕之间，天翻地覆，伯颜从权力顶峰跌回地面。
过真定府时，有当地父老进献果酒，失势的大丞相心中冤恨无限，问父老：“尔曾见天下有子杀父之事吗？（指其侄子脱脱“害”自己）”父老回答：“不曾见子杀父，但见奴婢杀使长！”此语满含讥讽，暗谕伯颜杀剡王一事。伯颜“俯首不语，殊有惭色”。其实，伯颜对侄子脱脱真是不薄。脱脱之父马札儿台长年一直在北部边疆捍边，脱脱自小由伯颜抚育成人。侄儿如子，所以伯颜才耿耿于怀。
行至河南地，刚想住下喘口气。又有皇帝御使快马而来，“诏令伯颜阳春县安置”，也就是说一下子把他贬至了岭南（今属广东）。不走不行，伯颜只得又开路。走到江西豫章驿站，万念俱灰、身心俱疲的伯颜绝望之余，夜间乘人不备，仰药而死。这招很对，如果他能活着走到阳春，很可能马上又有诏书再贬他去海南。不如一死痛快，一了百了。
伯颜从人身上也没钱，只得把主人尸体放在上蓝寺中，求得一口薄皮杉木棺材，“尸水流出户外，人皆掩鼻过之”。待元廷官员查验“正身”后，随便刨坑埋了拉倒。
元廷抄伯颜家，数月搬运不绝。此公又是财迷疯，除无数金银财宝外，还有“米糠数房，烧饼一房”，简直吝啬至极。所以，有人在停放伯颜尸体的寺庙院壁上写诗挖苦：“百千万锭犹嫌少，垛积金银北斗边。可惜太师无运智，不将些子到黄泉。”