您好!我的房屋和周边的土地已与买家签订了买卖合同,周边的土地有一小块是邻居的,他建房我有给土地给他?

现在邻居说土地不让卖，要卖的话我要给他8万（那一点土地折算起来也最多几千块钱啊），不给钱的话买家拆房重建的时候他要想尽一切办法阻止。如果我们自己居住他没问题。难道只能认他为所欲为吗？