我买了一间二手民房,120万,交了定金10万,现在他家人反对又不卖了,我该怎么办?

买房子拿走定金的是房子户主的大儿子,我看房子的时候,当时他妈也在场的,横说自己房子好,竖说自己房子佳的。现在他弟弟和他爸爸回来硬说不卖的,他自己又不出来解决问题,只说如果他爸不卖,那定金和违约金叫我跟他爸要。现在他爸和他弟只说肯提他哥出定金,违约金不给。中介叫我算了,到时叫他们给我包个小红包就好了。我不同意,我该怎么办?