房产定金交了,字也写了,反悔可以不?

我家买房子,开始和哪个卖房子的人说好了价格,我们定金都给了,字也签了,后来哪个人反悔了,把价格又提高了,说我们如果不按他说的价格要,就不卖,现在执意要把定金退给我们,我该怎么办