杨炎作为一个被贬之官，起用为相后，仅几个月，以自己的政见开导德宗，给予有力的辅佐，很有政绩，一时受到朝廷内外赞誉为“贤相”，寄予很大希望。不久，因崔祐甫患有疾病，不能处理政事，另一宰相乔琳也被免职，使杨炎得以独揽大权。杨炎心胸狭隘，专权不久，便开始专意报恩复仇。杨炎由于对元载感恩戴德，总想有所报答。建中二年（781年）二月，他先奏请实施元载生前提出的在原州修筑城堡的规划。德宗就派遣中使询问泾原节度使段秀实此举的利弊。段秀实是一个正直不阿的人，就直言不讳地指出：“凡安边却敌之长策，宜缓以计图之，无宜草草兴功也。又春事方作，请待农隙而缉其事。”杨炎听说后大怒，认为段秀实是在遏制自己。于是解除了段秀实节度使的职务，征召为司农卿。任命邠宁节度使李怀光兼为四镇、北庭行营、泾原节度使。让他率军转移到原州驻扎，派遣检校司空、同平章事朱泚，御史大夫崔宁各统领士兵万人作为他的羽翼，同时下诏命令泾州将士准备筑城工具。泾州将士愤怒地说：“吾属为国家西门之屏，十余年矣。始居邠州，甫营耕桑，有地著之安。徙屯泾州，披荆榛，立军府，坐席未暖，又投之塞外。吾属何罪而至此乎！”李怀光为朔方军帅，法令严苛，接连杀死大将，泾州副将刘文喜就利用人们怨恨的心情，拒不接受朝命，上奏疏要求段秀实重新担任主帅，如不用段秀实就请用朱泚为帅，于是朝廷任命朱泚代替李怀光。可是刘文喜又不接受诏命。泾州有强兵二万，刘文喜以此拥兵自守，并请求吐蕃援助，当时天热干旱，人心不安，许多朝臣请求赦免刘文喜，德宗不听，命令朱泚、李怀光等军进攻。幸好泾州别将刘海宾斩杀了刘文喜，否则必然会产生边患。这些都是由于杨炎以个人喜怒撤换主帅所造成的后果。

　　杨炎还构陷了著名理财家刘晏的冤案。早先，左仆射刘晏任吏部尚书时，杨炎担任侍郎，二人已有不和。后元载之案，主要由刘晏审理，元载被杀，作为其余党，杨炎也受到连累被贬，因此他对刘晏深加怨恨。德宗即位后，由于刘晏长期掌管财政大权，许多朝臣都很妒忌他，就上奏书说转运使可以罢免，德宗又风闻刘晏秘密上奏劝代宗立独孤妃为皇后。杨炎任宰相后，一心想要为元载报仇，就在德宗面前，流着眼泪说：“刘晏与黎干、刘忠翼同谋，臣为宰相不能讨，罪当万死。”又建议“尚书省，国政之本，比置诸使，分夺其权，今宜复旧”，以便剥夺刘晏的财权。于是德宗罢免了刘晏的转运、租庸、青苗、盐铁等使。建中元年（780年）初，杨炎又以刘晏奏事不实为由，贬其为忠州刺史。当时司农卿庾准也与刘晏不和，杨炎就任命庾准为荆南节度使。不久，庾准迎合杨炎的意图，诬告忠州刺史刘晏写信给朱泚请求营救，言语多有不满，又诬告刘晏召补州兵，想要抗拒朝命。杨炎作证说明确有其事，德宗信以为真。七月就秘密派遣中使到忠州杀死刘晏，然后下诏赐死。朝野上下都认为刘晏冤枉。

　　节度使李正己多次上表朝廷，询问刘晏何罪被杀，讥讽斥责朝廷。杨炎“恐天下以杀刘晏之罪归己”，遂派遣使者前往各镇，将过错推给德宗。德宗知道后，派宦官到李正己那里核实情况，果然如此，自此产生了诛杀杨炎的想法，但当时隐而未发。就提升卢杞为门下侍郎、平章事，改任杨炎为中书侍郎，仍为平章事，但不再专任杨炎了。

　　杨炎与卢杞二人同时执政，卢杞相貌丑陋，又无文学才干，杨炎对他很轻视，往往假托有病不和他在一起共事，议事又多有不合，卢杞因此怀恨在心。卢杞为人狡诈，为了发展自己个人的势力，树立自己的威信，对于不依附自己的人必欲置之于死地。于是荐引太常博士裴延令为集贤殿学士作为自己的羽翼，来图谋异己势力。

　　梁崇义自代宗即位以来，就据有襄、汉七州之地，拥兵自守。德宗即位后，对他进行招抚，但他态度顽固，抗拒朝命。建中二年（781年）六月，德宗任命淮西节度使李希烈统领各军讨伐梁崇义。杨炎劝谏说：“希烈为董秦（即李忠臣）养子，亲任无比，卒逐秦而夺其位。为人狼戾无亲，无功犹倔强不法，使平崇义，何以制之。”杨炎坚持己见，争议再三，德宗不听。在此之前，杨炎回归朝廷时，路经襄、汉，努力劝说梁崇义入朝，梁崇义没有听从，已经图谋反叛。不久，杨炎又派自己的党羽李舟去劝说梁崇义，梁崇义顽固不听，最后终于反叛。议论的人都归罪于杨炎，认为是他促成梁崇义反叛的。此时，杨炎劝德宗不用李希烈，德宗对他更加不满。德宗又曾询问宰相，大臣之中谁可担当大任，卢杞推荐张镒、严郢，而杨炎推荐崔昭、赵惠伯，德宗认为杨炎议论疏阔，于是罢免杨炎宰相之职，为左仆射。过了几天，杨炎入朝谢恩，在延英殿问对后，急弛而归，没有到中书省与卢杞见面，卢杞对杨炎更加怒恨。不久卢杞引荐严郢为御史大夫。以前严郢担任京兆尹时，不依附杨炎，杨炎对他很不满，就指使御史张著弹劾严郢，罢免严郢京兆尹之职为御史中丞。杨炎又提拔了与严郢有矛盾的源休为京兆尹。严郢后来又因犯有度田不实之罪，改任为大理卿，当时人们感到惋惜。此时，卢杞则迎合众人的要求，又利用严郢与杨炎有积怨，故意引荐他为御史大夫。杨炎的儿子杨弘业很不成才，常违法犯禁，又接受别人的贿赂和请托，后严郢审理此案，便不遗余力，并查出了杨炎的其他罪行。

　　先前杨炎为修建家庙，就请河南尹赵惠伯为他出卖东都的私宅，赵惠伯就把此宅买来作为官署。严郢审理后，认为赵惠伯是“贵估其宅”，杨炎得到不少余利。卢杞召请大理正田晋处理此案。田晋认为：获取余利，以索取论罪，应该剥夺他的官职。卢杞对这样判处很不满意，就将田晋贬为衡州司马，而召请其他官吏重新议罪，后判为：“监主自盗，罪绞。”此外，又有流言蜚语说：杨炎在曲江南修建的家庙，“此地有王气，炎故取之，必有异图。”德宗听说后更加愤怒，等到台司把审讯结果呈上，下诏三司重加覆按。于是在建中二年（781年）十月下诏宣布：尚书左仆射杨炎凭借他文学才艺多次位居要职，但“不思竭诚，敢为奸蠢，进邪丑正，既伪且坚，党援因依，动涉情故。隳法败度，罔上行私，苟利其身，不顾于国。”“询其事迹，本末乖谬，蔑恩弃德，负我何深！考状议刑，罪在难宥。”为顾全大局，特加宽宥，贬为崖州司马。诏书下达后，杨炎踏上了流放的路途，途经鬼门关，他似乎已预感到前景不妙，写感叹：“一去一万里，千知千不还。崖州何处是，生度鬼门关。”在走到离崖州百里的地方，德宗又下诏赐死，终年五十五岁。

　　杨炎追随元载，被贬起用为相后从个人恩怨出发，打击报复，并陷害刘晏，引起了人们的不满，遂使卢杞得以施展奸计而罹杀身之祸。