二手房合同如何解除?

我看中了一套二手房，买一层赠一层，与中介签订购房合同，定金交了一万元，后来我发现楼上是属于违建，现在不想买了，但是购房定金交了，如果违约我就要赔偿，现在我应该怎么办