我有责任田,现在公路前面那户人家违建房屋没,己申请政府有关部门调解,请问我们该怎么维权好?

我有责任田,在中间里面,不知道谁用泥土埋了,找不到原来的田路和水路耕种了,现在公路前面那户人家违建房屋没,说没有田路和水沟了,己申请政府有关部门调解,士地部门也已发停建通知了,但对方就是不来调解而且仍然在建屋中,请问我们该怎么维权好?