我是农村本村户口在本村买了一套房,有协议有证明人。在原址改造了大房子,买主反悔了,他能收回房子吗?

我是2000年买的，2001年把他的小房子拆了盖成大房子。一直没过户，2000的没按手印有证明人，所以2012年去找他补办了一份带手印的，现在他反悔了想要回房子。你说我该怎么办？