买房买房出现违约情况

我是卖主,卖房子的时候买主交了一万定金,中介扣走五千,因为太长时间,大约一两个月对方没付款交易,现在房子不想卖了,对方要求赔违约金。该怎么办?