农场土地私人建新房,还要建围墙,围墙位置是占道路的,但他说他爱怎样建就怎样我们该怎么对待这种人?

农场土地私人建新房,还要建围墙,围墙位置是占道路的,但他说他爱怎样建就怎样,我们管不着,可是他就是占用了我们出行的路,所以我们才不知怎样反驳他,因为他还比我们厉害,骂的凶凶的,貌似他还有理了,我们该怎么对待这种人?