想在我们农村十多年前两家互换了可耕地,当初是他家找上我家要换地

您好,想请问一下在我们农村十多年前两家互换了可耕地,当初是他家找上我家要换地,两家也协商好已经互换十多年了,但是现在他家跟我家换的那块地别人要承包建养猪厂,他看现在值钱又要要回去,以法律上我们不给的话会不会胜诉