我买了一套二手房,付了2万元定金,一万在中介那里,一万在房东那里,匆忙签了房屋买卖合同,现在发现卖家

我买了一套二手房,付了2万元定金,一万在中介那里,一万在房东那里,匆忙签了房屋买卖合同,现在发现卖家贷款还没有还清,房东和中介之前都没告诉我,她们想用我的首付去赎楼,这样如果我不交首付款给他就相当于不能过户了,他也无法把房子兑现给我,那么能不能判定合同无效?我的定金还能退还吗?