我在买房屋的时候,给了对方34000元房屋定金,用于对方到银行去提取抵押的房照我可以起诉他吗?

您好,我在买房屋的时候,给了对方34000元房屋定金,用于对方到银行去提取抵押的房照。对方也写了收条也注明了如果房屋交易不成功,返还定金。现在由于各种原因交易没有成功。我问对方要房屋定金对方不给,我可以起诉他吗?我们还没有签订购房协议