我签好了房子抵押贷款合同!和借款合同!不想贷款了!这样可以取消合同吗?需要承担什么责任?算不算违约?

我签好了房子抵押贷款合同!和借款合同!现在就差一个抵押章没敲!银行贷款也没下来,现在想想后怕,不想贷款了!这样可以取消合同吗?需要承担什么责任?这样我算不算违约?