陈豨派遣王黄求救于匈奴，而卢绾也派他的臣僚张胜出使匈奴，称陈豨已经战败，让匈奴不要发兵。[15] 臧荼的儿子臧衍恰好逃亡在匈奴，对张胜说：“您之所以在燕得到重用，是因为您通晓匈奴的事务。而燕所能够长久存在的原因，是因为其他诸侯屡屡造反，天下征战不休。现在您为了燕，想要迅速消灭陈豨。但陈豨被消灭以后，下一个就该轮到燕，您和您的主上马上也要灭亡了。您为何不让燕暂且放过陈豨，并且和匈奴联合呢？如果局势和缓，燕就能够长存；即使朝廷逼迫侵削，燕也算有了安全的保障。”[16] 张胜认为他说的有道理。于是他暗中劝匈奴帮助陈豨攻打燕。[17]
卢绾怀疑张胜勾结匈奴谋反，于是上书刘邦，请求族灭张胜。[18]
张胜从匈奴返回，详细向卢绾解释了他为什么要那样做的理由。卢绾醒悟，于是对刘邦假称是他人谋反，为张胜的家属开脱，使得张胜能够安心做他和匈奴之间的线人。卢绾又派范齐出使陈豨，劝他逃亡，让他在外部带兵形成与燕地连年冲突的形势，好让各自相安。[19]
但此事却被陈豨的降将告诉了刘邦。[20] 刘邦派使臣召卢绾，卢绾称病不去。[21] 刘邦又派辟阳侯审食其，御史大夫赵尧召卢绾，并借机调查他的下人。[22] 卢绾愈加恐惧，闭门谢客。他对他宠信的臣下说：“现在不是刘姓而称王的，只有我和长沙王吴芮了。去年春天朝廷族灭了淮阴侯韩信，夏天又诛杀了彭越，都出自吕后的计谋。现在皇上生病，政事都由吕后来决断，吕后专门想要找借口诛杀异姓诸侯王和大功臣。”于是称病不往。[23] [24] 他的手下都逃跑躲藏起来。但这段话终究被泄露到审食其耳中。审食其回来后，详细向刘邦做了禀报，刘邦更加生气。[25]
刘邦又从匈奴投降的人那里，听到了张胜在匈奴为燕使者的消息，于是说道：“卢绾果然造反了。[26] [27] ”
逃亡匈奴
刘邦下诏说：“燕王绾和我是老交情，我关爱他就像关爱我自己的孩子，听人说他和陈豨私下谋反，我以为不会有，所以派人去迎接他，但卢绾称病不来，谋反的态度就很明显了。燕国的官员和民众并没有罪，赏赐官员六百石以上的爵位各一级。和卢绾一起的，叛离然后回归的人，也赦免他们，加爵一级。”[38]
卢绾知道刘邦还是顾念旧情，于是他带着家属、宫人、亲信等数千人马，在长城下等候，希望刘邦病愈之后，亲自入长安谢罪。[30] 然而四月刘邦驾崩，卢绾只能带领部众逃亡到匈奴，匈奴封他为东胡卢王。此后卢绾被蛮夷侵占抢掠，常常想着回归汉家，寄居北方一年多以后，在汉惠帝元年（公元前194年），死于胡人之地。[31]