退房开发商要收违约金

我2013年10月份买的房子（期房）当时买的时候没有预售证，最后只签的认购协议，协议上明确了房屋位置、大小以及首付和贷款部分，同时协议上写着2014年12月31日前交房。但是到现在房屋还不具备交房条件，我向售楼部提出退房请求，对方说可以退但是要交违约金。这个事情该怎么办？