五年他父亲去世时，他只守孝两个月就被朝廷召回，根据丁忧守丧制度，他应该守孝三年。宋钦宗准奏，命他前去提举亳州明道宫。

    李邦彦虽然是“浪子宰相”，但宋钦宗对他怀有好感，因为宋钦宗在当太子期间，以及禅位之初，曾得到过他很大的帮助。现在迫于舆论压力，宋钦宗不得不让他下台。为了给他挽回一点颜面，宋钦宗专门下达了一份手诏：“太宰李邦彦任政府累年，屡形忧国爱民之议，以至惜名器，抑冗滥，献纳非一。朕在东宫时，熟闻嘉誉，册立之际，备罄忠诚。金人犯阙，其所建明，惟知利社稷抚军民为急，朕一一施校众志未能遍谕，乃作弗靖，鼓唱流言，反与前日异议，元恶之人，忽生怨愤，实骇予听。已依所乞宫祠，播告中外，咸信勿疑。”