应该说，唐宪宗时期也是裴度最风光的时期，他成功地辅佐唐宪宗完成了打击藩镇势力的工作，使中央统一政令的权威得以落实。此时的他可谓声名威望日隆。但后来到了唐穆宗、唐敬宗时期，情况发生了变化，他发现，大唐王朝已经不再需要他了。
这一切，还是得从藩镇节度使调换说起。元和十五年（公元820年），唐宪宗暴亡。唐穆宗继位后，对河北诸镇采取了一系列的后续措施，中央政一府首先把各大藩镇的节度使来了个大调换。这是控制地方势力做大，防止尾大不掉的有效方法，永远都不会过时。但得看何时用，何人用，用在何处；如果用得不当，反而会被其拖累。唐穆宗的措施是，把魏博节度使田弘正（田兴）调往成德；把成德的王承元调往义成；把义成的刘悟调往昭仪。
而此时的幽州节度使是杀害父兄，从父亲手中夺权的刘总。由于难以摆脱因杀害父兄产生的内心恐惧，他下决心遁入空门以求彻底解脱。临行前，他给唐穆宗上表，请求回到朝廷。穆宗赐他法号“大觉”，并允许他回京。刘总启程返京，刚出冀州不远便暴亡了。朝廷诏令调河东节度使张宏靖到幽州主事。张弘靖到任后并没有做好安一抚工作，幽州将领在都知兵马使朱克融的鼓动下，杀了张宏靖的随官并将其软禁起来，一致推举朱克融暂时管理军务。
而魏博与成德两个藩镇平时关系就很不好，田弘正作为魏博的节度使自然得不到成德将士们的好感。田弘正从魏博出发的时候，随身带了两千多兵士保卫自己，但到达成德之后，朝廷却不愿支付这一部分军饷，将士们吃不饱肚子拿不到银两自然不愿意干，万般无奈之下，田弘正只能让这两千多亲兵回返魏博；另外，田弘正一向比较讲究排场，用度花销很大，这让成德将士很不满。由是，在成德都知兵马使王庭凑的带领下，乱兵杀害了田弘正和家属以及将领共三百多人，王庭凑自称留后，上表要求获得节度使一职。成德再次反叛。
田弘正之子田布此时留守魏博一带，听说父亲被害，便带领本部兵马参与成德平叛。可惜魏博的军队已经厌倦了这种征战生活，在将领史宪诚的带领下对田布的命令不理不睬。田布眼见手下士兵悉数反叛，家仇难报，无可奈何之下自一杀身亡。
至此，河北三镇再次陷入藩镇割据的局面，稍有不同的是，新的藩镇首领取代了旧的首领，这一取代便使得唐宪宗一生的努力付之东流。从此，这一片土地再也没有回到中央的管辖之下了。
突然遭此变故，朝中乱了阵脚。但穆宗皇帝却毫不理会，他只关心如何玩乐，对于官员们惊慌的反应，反而觉得奇怪。知道张宏靖被软禁的消息后，他仅仅发布了一份诏书，贬张宏靖为吉州刺史，其他没有任何改变，这等于完全承认了朱克融等人的行为是合理的。
对于向朝廷上表要官的王庭凑，唐穆宗则在主战派大臣的劝说下诏令讨伐。此时淮西战役中的名将李愬突然病死，裴度又被任命为总指挥，监督前线军事。但此一时彼一时，在将近半年的时间里，官军基本没有取得任何进展，而朝廷也失去了耐一性一。次年二月，一道诏书宣称说王庭凑不是坏人，是因为小人胁迫才不得已这么做的，现在朝廷收回原来加在他身上的罪名，为他平反昭雪。由是，官军也找到了一个停战的体面台阶，只有裴度徒劳而无功。
裴度为相二十余年，曾荐引过李德裕、李宗闵、韩愈等名士贤臣，重用过李光颜、李愬等名将，还保护过刘禹锡等，但从不荐引无才的亲友为官。在唐朝后期，朝官结为朋一党一，相互援济的情况下，他不拉帮结派，坚持唯才是举，这正是他为官的正直之处。
年轻的天子已经一心一意投入游乐之中，不再有兴趣关注这么许多的杂务了。唐宪宗与裴度君臣一起奠定的大好局面也消失殆尽了。即将没落的大唐王朝也已经不再需要裴度了。
在这场动乱之后，裴度曾经短时间出任宰相，但不久便被排挤出朝堂，到地方出任节度使。朝中主事的一直是宦官王守澄等人以及依附于王的宰相李逢吉。因为之前的一些恩怨，他们恨透了裴度，因此，终唐穆宗一朝，裴度再也未能入朝主事。唐敬宗继位后，裴度冲破阻挠被重新启用。但当他回到朝堂时，他发现，一切都已经不再是当年的模样了。敬宗在玩乐上丝毫不逊于其父穆宗，甚至有过之而无不及，王朝已经被宦官们牢牢地把持在手中了。左枢密王守澄、右枢密杨守和、左神策军中尉魏从简、右神策军中尉梁守谦四大宦官真正构成了大唐王朝的权威，裴度即使身为宰相却也只能等而下之。
在当时已有“勋高中夏，声播外夷”盛名和地位的情况下，由于宦官当道，空有“将相全才”的裴度，已不能为天子所用了。为避宦官构陷，他退居东都洛陽，建宅第于集贤里；与诗人白居易、刘禹锡等，高歌放言，酣宴终日，以诗酒琴书自乐，不再过问政事。不料唐文宗开成二年（公元837年），他以中书令的身份，又奉诏镇守河东。开成三年冬，裴度因病求请皇帝放还东都。翌年，七十六岁的裴度在洛陽溘然离世，被唐文宗追赠为太傅。挽力支撑岌岌可危的唐王朝大厦的最后一根支柱，终于也倒下了。
平庸的皇帝虽然抛弃了裴度，但历史却记住了裴度。他“始自书生，以辞策中科选，数年之间，翔泳清切”，又能奋命决策，横身讨逆，成为中兴宗臣。史家对裴度的功德多加以肯定。《旧唐书·裴度传》说他“出入中外，以身系国之安危，时之轻重者二十年”，“威望德业，侔于郭子仪”。并赞他“以人臣事君，唯忠与义，大则以訏谟排祸难，小则以谠正匡过失，内不虑身计，外不恤人言”，“诚社稷之良臣，股肱之贤相”。《新唐书》列传也称他“度退然，才中人，而神观迈爽，一操一守坚正，善占对。既有功，名震四夷。使外国者，其君长必问度年今几、状貌孰似、天子用否。其威誉德业比郭汾陽，而用不用常为天下重轻。事四朝，以全德始终。及殁，天下莫不思其风烈。”这说明，历史总是会记住那些为国为民的贤臣良将的。