我2012年10月首付20万购住宅一套,当时签定委托建房协议,约定交房日期2014年10月请问您这种情况我该怎么处理?

您好!我2012年10月首付20万购住宅一套,当时签定委托建房协议,约定交房日期2014年10月,后开发商违约延期至2015年11月交房,2018年签定正式的商品房销售合同,之前的委托建房协议收回,现在开发商以签订合同日期为由,拒付违约金,请问您这种情况我该怎么处理?谢XX!