你好,我想问一下我买了房子已经过了三个多月了还没交

你好，我想问一下我买了房子已经过了三个多月了还没交房，合同是2015年12月底交，我是付的首付还差四万块钱，说好的交房的时候交钱，他现在要交钱，还说他们没有违约是我们违约了，我想退房，请问可以退嘛