开发商要求我们换房或退款

两年前，一次性付清房款，当时钥匙也已经拿到，并且已经缴纳一年的物业管理费，但现在开发商说，此房其他人已经办理过房贷，要求我换房或退款，主要原因据说是他没有房款交公司，当时也没有签定正式合同。