有房屋买卖合同没过户,房子会被收回吗

10年前买的房子,跟卖家商量好5年后过户。不过我这些年一直有事,不在本地,就拖着一直没过户。前几天卖家联系上我了,我以为他要过户。谁知道,今天他来找我,说要我直接找律师。说什么违约啊,要收回房屋啊,要赔钱什么的,这可能么?那个,《房屋所有权证》《房屋买卖合同》我都有。用给卖家赔偿么?会收回房屋么?