紹興十一年（1141年）八月，由于秦檜、張俊、萬俟卨等人的一再唆使，岳飛就自請回到江州廬山舊居賦閑等候朝廷的處理。在這段時間里，他游覽了周邊的名山大川，在游覽安徽時，寫下了《題池州翠光寺》表達自己的心情：

    愛此倚欄桿，誰同寓目閑。

    輕陰弄晴日，秀色隱空山。

    島樹蕭疏外，征帆杳靄間。

    予雖江上老，心羨白云還。

    “征帆杳靄間”“心羨白云還”這些話語，表達出岳飛還想重新披掛上場、奮力殺敵的英雄情懷。

    秦檜、張俊等人看到右諫議大夫萬俟禼彈劾岳飛大罪的奏章沒有起到什么效果，非常著急。

    右諫議大夫萬俟禼就叫來他的部屬御史中丞何鑄、殿中侍御史羅汝楫，和他們一起商量對策。

    何鑄，字伯壽，浙江余杭人。政和五年進士，歷官州縣。入為諸王宮大小學教授，現(xiàn)在官職為御史中丞。

    羅汝楫，字彥濟，徽州歙縣人。政和二年進士，為郴州教授，現(xiàn)任職務為殿中侍御史。

    萬俟禼對他們說道：“你們作為言諫官，知道朝廷最近的核心大事是什么呢？”

    何鑄、羅汝楫回答道：“當然是議和這件事”。

    萬俟卨問道：“進展得怎么樣了呢？”

    何鑄、羅汝楫回答道：“聽說比較順利，只是還有一些武將持有不同意見。萬俟公不是已經(jīng)彈劾他們了嗎？”

    萬俟卨惱怒地說道：“你們和我都身為諫官，卻不能替皇上和秦公分憂解難，那要你們干什么？你們今天的榮耀和地位，難道不是圣上和秦公給你們的嗎？還想不想繼續(xù)干了？！”

    何鑄、羅汝楫為了保住自己的職位，于是輪番上疏彈劾岳飛，大體內(nèi)容是說：“岳飛接到朝廷圣旨后應當起兵迎敵，可是他才到了龍舒附近就畏懼敵人，不再前進了；他作為一名將帥，奉命出使防守，可是他本人竟然鼓動屬下放棄山陽，不要防守，向后撤退。按照岳飛平日以往的性格，不應該至于這樣吧。難道是他現(xiàn)在不想再忠于皇上了嗎？

    自從他離開部隊兵權(quán)位置，榮登樞筦職位以來，他不但沒有感到高興，反而郁郁不樂，每天想著引去避位。他曾經(jīng)對別人說：‘此等雞肋官職，多年以前朝廷執(zhí)政就想任命我為此職務，我都不愿意來呢。誰稀罕這樣的破爛職務呢！’他如此妄自尊大，略無忌憚，簡直目無朝廷。尤其是他最近公開蠱惑軍心，竟然說山陽城不可防守，軍民搖惑，軍心渙散了。后來他的話傳開之后，由于士卒沒有斗志，確實幾乎失去了山陽。如果真的失去山陽的話，雖然把岳飛斬首了，有什么益處呢！希望朝廷快速賜給他處分，讓他外出去閑祠放養(yǎng)，把對他的處罰作為不忠之臣的警戒。”

    萬俟禼看到皇上沒有下決心罷免岳飛，就接連上了四次奏章，又把他彈劾岳飛的奏章抄寫了幾份，送給岳飛以及其他大臣。岳飛意氣風發(fā)，怎么能受得了其他大臣的譏諷呢？于是他就上奏要求辭職，朝廷就把岳飛貶斥為武勝、定國軍節(jié)度使，充萬壽觀使。