我房子卖出去两年了一直没过户压了我二万块钱,但是下家把代款全部还清了如果把房子要回来吗?

我想问一下我房子卖出去两年了一直没过户压了我二万块钱,但是下家把代款全部还清了,这次去办最后一次过户手续时候下家二万块钱只给我一万五千,说退税钱归他,我该怎么办,如果把房子要回来吗?