柯建铭日前抛出改选立法院长、罢免41席国民党立委的「双罢」。民进党表示，各地罢免行动都是公民自主行动，能理解党团在国会失序下第一线攻防的艰辛，也尊重党团对罢免案看法，但民进党并未针对罢免进行具体讨论。
而就在民进党表示未讨论罢免一事后，随即传出有党政高层对柯的做法有微词，就连柯建铭在脸书上发表7000多字的脸书长文，标记全体民进党立委，响应绿委却是寥寥无几，也让外界对于柯建铭与府院党间的矛盾，是否已开始台面化，引发高度关注。
国民党立院党团书记长林思铭今(6日)表示，柯建铭现在看起来像是在最后的奋力一搏，目的就是要演给赖清德看，而赖清德会不会回心转意不得而知，但若赖清德心中已有定见，认为柯建铭廉颇老矣，不想再让柯建铭担任总召的话 ，是有可能换上蔡其昌的。
林思铭透露，选罢法三法协商时，绿委蔡其昌虽不是党团三长，但蔡却能进到协商室参与协商，加上蔡担任过立法院副院长、在民进党内辈份比较高。因此，他认为蔡其昌是可能人选，他也推估，若换上蔡其昌跟在野党好好沟通协调，而不是以柯建铭过去没有法制概念、以大法官自居的胡乱做为，是有可能有助于改变国会目前的氛围。
林思铭并强调，柯建铭脚伤好几个月，期间赖清德直接下指令给党团干事长吴思瑶，跳过柯建铭，因此他个人认为，吴思瑶是赖清德想培养的下一任总召。
