村里人在我家种地的下方建房子把我家地根子用挖掘机挖了一半的土用来他们盖房现在我们该怎么办?

村里人在我家种地的下方建房子把我家地根子用挖掘机挖了一半的土用来他们盖房,我爸让他们签个协议以后浇地如果水流到他们房子后面房子塌了什么的和我们没关系,可是村里主任答应了。书记不答应,我们该怎么办,盖房子的那家人还差点动手打我爸,现在我们该怎么办