我村回修路占用别人的田地,因别人看上我家那家五分田,经大队调

我村回修路占用别人的田地，因别人看上我家那家五分田，经大队调整，将我家承包的五分地让给他村，从我村已迁出人口中换一块土地，现在迁出户没没出面管事，反而他的哥哥弟弟百般闹事，说土地是他的，请问这事怎么处理妥当。