我与房屋出租方口头达成了房屋租赁协议并交给了对方定金两万后对方反悔拒绝签订合同反而说本人不和他签合

我与房屋出租方口头达成了房屋租赁协议并交给了对方定金两万后对方反悔拒绝签订合同反而说本人不和他签合同、 该怎么办?、 注:有定金收据为证、