我是房主,和买房人发生矛盾,房屋已经付了首付,税,

我是房主，和买房人发生矛盾，房屋已经付了首付，税，资金托管，但没有过户，房产证在我这里，没有通过中介，愿意赔偿违约金，想要解除买卖关系，应该怎么办？望赐教！