早在1945年前后，吾对军队的腐败心知肚明。在国民党与三青团合并时，曾一度想改组国民党，吾认为国民党派系林立，组织混乱，必须改革党务。但因种种原因，这个计划被搁置。1949年1月21日，国民党中央社播发文告，吾宣布下野，随即离开南京返回故里浙江奉化溪口。下野后的吾开始冷静的反思失败的原因，1月22日，吾对经国说：“当政20年，对其社会改造与民众福利，毫无着手，而当政军事教育人员，只能做官，而未注意三民主义之实行……”。29日，在召见黄少谷时吾说：“本党非彻底再造，断不能从事复兴工作”。其后在接见阎锡山、袁守谦等要人时，吾均作了接受教训、改革党务的表示。虽然1949年7月国民党成立了中-央-非-常-委员会，国民党中常会204次会议也讨论通过吾研拟了的《中-国-国民党之改-造-方案》，但为时已晚，此时的国民政府已处于风雨飘摇之中。