公积金贷款买房与签订购房合同冲突吗?

12年12月的时候付了购房定金，13年3月的时候服了房屋首付，付首付的时候没有签订购房合同，现在都六月份了，一直没签合同，代理公司一直以公积金管理公司没有办理好手续为由不给我们签订合同，我想问这种情况下能不能以不签合同为由退全款。