房主要我归还房屋，我该怎么办？

前年8月，我因为结婚急需购买一套二手房，但由于该房屋是回迁房，房屋产权证尚未办理完毕，于是与卖方约定，待房产证下发之后，再办理过户。交付房款后我对房屋进行了装修，现已入住一年多，但前几天卖方起诉说购房合同无效，让我返还房屋，我该怎么办？