八月二十一日，晋武帝司马炎任命何曾为太傅，陈骞为大司马，贾充为太尉，齐王司马攸为司空。
陈骞此时已七十七岁，位极人臣，但年事已高，打算急流勇退。
第二年，陈骞上表要求入朝为官，不愿再镇守州郡。
司马炎同意了，命陈骞入朝。
陈骞回到京师洛阳后，屡次告病请辞，司马炎均下诏，表示国家需要其在位以察朝政，不肯让其辞官。
陈骞不服气，不去官邸办公，径直回到自己的居所，可是司马炎又命侍中请陈骞回到大司马府任事。
在连番请辞之下，司马炎终于肯让陈骞逊位，赐予等同太保、太傅的地位及相应的仪杖，以高平公身份回家，此后不须上朝，并以安车驷马送还府第。
司马炎本就对陈骞十分亲重，又因他是故老元勋，因此以重礼相待。
晋太康二年（281年）十一月二十五日，陈骞逝世，享年八十一岁。
晋朝廷追赠太傅，谥号"武"，其子陈舆嗣爵。
陈骞下葬时，司马炎亲自临丧，望其灵柩痛哭流涕，下葬礼仪与大司马石苞相同。
十月，司马炎又任命汝阴王司马骏为征西大将军，羊祜为征南大将军，二人都设立府署，征召属员，仪节与三司相同。
羊祜在荆州经营七年之久，荆州地区社会稳定，经济长足发展，军备充分，战力提升，已远超吴国。
而吴帝孙皓奢侈无度，残暴凶狠，对将士官吏和百姓毫无体恤之心，加之全国连续三年瘟疫，死人数十万，国力日益衰微，各方矛盾突出，朝野内外怨声载道。
在军事方面，吴国最后的名将陆抗病逝，一些地方官员和将官遭到孙皓猜疑，杀的杀，逃的逃，其余将士人心惶惶，各怀心思。
羊祜认为伐吴的时机已经成熟，上书司马炎，请求讨伐吴国，这就是有名的《请伐吴疏》。
他在奏章中说："先帝在西面平定了巴、蜀地区，在南面与东吴、会稽地区和平相处，海内几乎可以休息了。但是吴国却再次背信弃义，使边境又生事端。运数中说是由上天所授予，而功勋业绩却必须由人来成就。如果不用一次大规模的军事行动把敌人彻底消灭，那么兵役就没有停息的时候。平定蜀国时，天下人都认为吴国也应当一同灭亡，从那时到现在，已经十三年了。谋略虽然很多，却需要独自决断。凡是凭借险阻得到保全的，是因为其势力不同，否则即使有险阻，也保不住。蜀作为一个国家，其地势并非不险，人们都说，一夫当关，万夫莫开。但是，到了我军进兵之日，却不曾有藩篱的阻碍，我军乘胜席卷而下，直接兵抵成都，汉中各城，都如栖息之鸟，不敢出动。并不是因为他们没有抵抗之心，实在是其力量不足以与我抗衡。等到刘禅请求投降，各个营堡轰然离散。现在长江、淮水的险峻不如蜀之剑阁，孙皓的残暴超过了刘禅，吴人的困苦胜于巴、蜀，而大晋的兵力比以往任何时候都强盛，不在此时平定统一四海，却还坚守要塞防守，使天下为远行守边而窘迫，将士们长年出征，经历盛年而至于衰老，这样下去不是长久之计。如果率领梁州、益州之兵，水、陆路齐下，荆、楚之兵进逼江陵，平南、豫州的军队直趋夏口，徐、扬、青、兖各路兵马在秣陵会合，这样的话，吴国依凭其一隅之地，抵挡天下之众，必然会分兵把守，所守之处，处处危急。然后，乘其空虚，从巴、汉出奇兵袭击，只要有一处被摧毁，就会引起上下震动，即使再有谋略之士也不能为吴国谋划了。吴国沿着长江建立了国家，其地从东到西有几千里，敌对的战线过于广大，所以没有安宁。孙皓放纵任性，为所欲为，常常猜忌臣下，结果使将官在朝中感到疑虑不安，兵士于原野困顿疲惫，没有保卫国家的计谋和长久的打算。在平常的日子里，他们尚且考虑是否离去，到了战事临头之际，必然全有反应，终不能齐心协力以效死命，这一点，现在就已经很清楚了。吴人的习性是急而快但不能持久，他们运用弓弩戟盾等兵器不如中原地区的士兵熟练，只有水战是他们所擅长的。一旦我军进入吴境，长江天险不保，他们不得不弃船离水，上岸奔救城池，丢弃了长处而拾起短处，就不是我们的对手了。我军深入敌境，人人有献身效命的决心，而吴人牵挂后方，各自怀有离散之心，这样，我军过不了多久，克敌制胜就是必然的了。"
司马炎深为赞同，采纳了羊祜的意见。
此时，西北地区秃发树机能的叛乱势力正盛，晋朝廷众臣还在为秦州、凉州的胡人而忧虑，根本顾不上考虑讨伐吴国的事。
羊祜又上表说："平定了吴国，胡人自然就安定了。现在当务之急，应当迅速去成就伟大的功业。"
朝中不少人都反对羊祜的意见，贾充、荀勖、冯紞尤其认为不能伐吴。
只有度支尚书杜预、中书令张华与晋武帝司马炎意见相合，赞成羊祜的计划。
羊祜叹息说："天下不如意的事情，常占十之七八。上天赐与时机，庸人却不去获取，经历其事的人以后岂不是要扼腕长叹吗？"
