我家准备在XX买房子,然后XX要求我们交首付,当时问我们就交了2万,交完之后我们该如何要回这8万5?

我家准备在XX买房子,然后XX要求我们交首付,当时问我们就交了2万,交完之后,XX又说这是定金要求我们补齐首付8万5,于是我们又交了8万5结果现在银行贷款批不下来,再问XX他们说这10万5时不会再退了,现在我们全家都已经没有办法了,这10万5中间还有找亲戚朋友借的,我们该如何要回这8万5