我家盖房子问邻居要了几个平方土地,当时他答应了,现在给他钱不要应该怎么处理?

律师你好,我家盖房子问邻居要了几个平方土地,当时他答应了,现在给他钱不要,他要盖养殖业房子,以为考虑养殖牛味道大给房子太近不想让他盖,应该怎么处理,请律师指点