购买二手房签订了房屋买卖定金合同,交了1万元。本在4月20日补起全款,我想把定金退回来可以吗?

购买二手房签订了房屋买卖定金合同,交了1万元。本在4月20日补起全款,可是因为特殊原因不能购买此房了,在合同期内3月份就提前向房主和中介说明此事,但是他们不同意,房主让我赔偿这1万元,中介还要求赔偿中介5000千。我想把定金退回来可以吗?