我在农村买了一块土地和四间旧房,(用来建住房)土地和旧房是属

我在农村买了一块土地和四间旧房，（用来建住房）土地和旧房是属于农厂的，当时因为农厂搬在异地，所以好多年这四间房子让当地的距近农民随便先住，但是这块土地被邻居非法占用好几年在空地上栽了树，且树都结果了，就在我买的时候，邻居一再强调是他们的，最后我们还是办理了相关合法手续准备建房，但是邻居不签字，我的建房申请就不批，我家就无法建房，最后邻居提出要我将靠他家那边的土地转让给他一块他才签字，当时就糊里糊涂的在他再三和他亲人摧促之下转让给他，他给付了相应费，当时协议只有乡长和村各别领导签字了，但是没有经过当地土管部门，也没有村委会和政府和土管所的盖章，也没有违约条约！距今约五年了，请问这个协议受法律保护吗？我想退回他家的钱，收回我家的土地可以吗？ 收起