交换的宅基地能否建房

我在十二年前和别人换了一份宅基地,村里出具了换地证明,亲戚邻居也出具了换地证明,现在对方不让建房,我能否建房。对方有否收回已交换已是多年的宅基地。