我们房子拆了,拆迁款也打了,房子也买了,被人举报我们房子是违建的,要我们退钱现在我们怎么办?

我们房子拆了,拆迁款也打了,房子也买了,被人举报我们房子是违建的,要我们退钱,可是钱也用了,当初让提供什么我们就提供什么,我们也不知道能陪钱,现在我们怎么办