2014年元月协议买房,房价40万。协议定于2014年12月31日前还20万,2015年10月31日

2014年元月协议买房，房价40万。协议定于2014年12月31日前还20万，2015年10月31日还8万，首付12万。到期都我未还款，与卖方口头协议定于2015年12月5日前一次性付完28万，但到期后我去还款，对方称由于我已违约，退我12万购房款，不卖房了。其实，房已交付我，我也装修后租出去，请问我要如何维护我的合法权益？