我想租房子中介跟我要了1500元意向金，我只给了500元，他说只是诚意金签合同才转为定金，但我们没有签合同

我想租房子中介跟我要了1500元意向金，我只给了500元，他说只是诚意金签合同才转为定金，但我们没有签合同只有一张收据。现在因为一些我个人的原因不想租那个房子了，中介却不肯退钱，说是钱被房东拿走了。叫我跟房东要，我根本无法联系到房东，他们还真是空手套白狼，请问我的500元能要回来吗？