请问房屋抵押贷款如果我中途不想贷款了,中介公司要求我交纳违约金才把房产证退给我。房子还没有抵押。

请问房屋抵押贷款如果我中途不想贷款了,中介公司要求我交纳违约金才把房产证退给我。我该怎么办,谢谢!房子还没有抵押。