我出租房屋,这个租客交了400定金,说好第二天交房款,但又打电话说得托几天怎么办?

我出租房屋,这个租客交了400定金,说好第二天交房款,但又打电话说得托几天,我觉得这个人有点臭无赖的样子,想如果租给他日后会有好多麻烦,主动打电话让他来取定金,不租了。结果他说要我赔偿双倍定金。我感觉被人赖上了,怎么办?