商品房买卖贷款纠纷

我曾经买过一套商品房，后来因为开发商违约，便签订了退房协议，后来开发商并没有按照退房协议来执行，我经过诉讼和强制执行把首付和违约金拿了回来，但是现在贷款银行把我起诉到了法院，要我还剩下的贷款，但退房协议上写的自签订协议起贷款由开发商代还！请问，现在我应该怎么办？