房子我不想买了,当时合同已经跟房产公司签订了,本来想贷款的,想到压力很大,所以终止了银行贷款,现在想

房子我不想买了，当时合同已经跟房产公司签订了，本来想贷款的，想到压力很大，所以终止了银行贷款，现在想把预付款退回来，可房产公司就说不退了，我该咋办？