我家和一户村里人发生了土地纠纷。因为我家的房子原来是菜园,和另一户人家的菜园共用一堵矮墙我们该怎么办?

我家和一户村里人发生了土地纠纷。因为我家的房子原来是菜园,和另一户人家的菜园共用一堵矮墙,他家的篱笆围的也是这堵墙中间,但是自从我们家做了房子之后他们就找了好多次岔,并且要把墙占为己有,逼迫奶奶写协议等等。请问律师,我们家占理吗?我们该怎么办?