村里以前得地,村里是谁拿石头围住就是谁的,隔壁邻居阻拦,想跟我们交换,我不想换,我可以告他吗

村里以前得地,村里是谁拿石头围住就是谁的,一直是我们使用,然后我想建厕所,隔壁邻居阻拦,想跟我们交换,但是地是我得,我不想换,我想建厕所,然后他说建好他就拆,我可以告他吗