农村房屋使用归属争议

用土地对换土地还外加2万钱换的房屋土地(3个门面),有双方签字的字据,然后我们先审批的2个门面建房,还剩下一个门面未使用,现在对方要我们返还没使用的门面,对方自己说他的字据无效,对方还不给任何补偿。我们该怎么办?