07年亲戚又是邻居造房子要我家的一块地换给他造房子,电话联系我老公,我老公没答应,后来他又电话联系我

07年亲戚又是邻居造房子要我家的一块地换给他造房子，电话联系我老公，我老公没答应，后来他又电话联系我，我想想又是亲戚又是邻居就答应了，现在他家有块地在我家房子左边是他家房子右边，我想让他换我，他死活不同意，我说当初我多答应你你也应该考虑一下，他却说我为什么当初要答应他，我现在该怎么办