我父母把自己的耕地承包给同村村民二十三年,对方已经在地上盖房子十二年了我们可以终止协议收回土地吗?

我父母把自己的耕地承包给同村村民二十三年,对方已经在地上盖房子十二年了,约定每五年交一次土地承包费,现在还有十一年,不包括后八年的租金,我们可以终止协议收回土地吗?