我第一次买房可是现在政策变了,我想退房,怎么办?

我是第一次买房。交了订金,当时中介的说可以给我做40W的贷款。我想那首付我就可以做到,就签了合同,可是现在政策变了,贷款贷不了40W。我就不想要那套房了。可是今天中介的打电话来说如果不要,业主就会告我。要我赔偿总价的百分之20.请问是这样吗?我该怎么做?