看房时交了两万的诚意金,还签了字,但是没有签购房认购书,发票上写的预约金,现在不想买房了,想把钱退回

看房时交了两万的诚意金,还签了字,但是没有签购房认购书,发票上写的预约金,现在不想买房了,想把钱退回来,置业顾问说他们财务按定金方式收的,所以不退,这个钱能退回来吗?