國民黨青壯派議員呼籲退將吳斯懷辭去國民黨不分區立委資格，吳斯懷受訪時說，若國民黨中央認同他離開就會變好，就叫他離開。他也強調，我方假想敵是中國大陸解放軍，若他進立法院洩密，就把他關到死。
2020大選國民黨敗選，國民黨台北市議員羅智強號召多位青壯派議員，呼籲退將吳斯懷辭去不分區立委資格。
羅智強說，為了保一個吳斯懷，國民黨下架多少優秀的立法委員？吳斯懷未來四年掛著國民黨的招牌，黨就要承受四年這樣的包袱。國民黨還在講大局為重，都已經輸到倒在地上了。
已請辭國民黨中常委的台北市議員徐弘庭說，他認同吳斯懷的人格 ，但在這場選舉，吳被嚴重標籤化，在這過程中，他身為泛藍長期支持者，對吳保衛中華民國，無庸置疑，但若是他遇到這樣情況，他寧願不做立委，因為他無法接受自己被標籤化和人格的抹殺。
吳斯懷接受「自由亞洲電台」訪問時反問這些中生代民意代表，「吳斯懷辭掉不分區立委，國民黨就會變好嗎？」如果答案是肯定的，連國民黨中央黨部也認同這答案，就叫他離開，他毫無怨言。
吳斯懷說，從軍44年的磨練，會服從黨中央的任何決策，青壯派的聲音他聽到了，予以尊重；國民黨是百年大黨，雖然現在疲態顯露，但仍有民主自由多元聲音的優良傳統。
他說，希望多元的聲音要更理性，而不是把責任都由吳敦義一人扛起，或是將責任轉移到他身上。
