我有农村方八丈闲宅基地。四十年前生产队长给我们地。但我们全家不是农村户口都搬到县城该怎么处理?

我有农村方八丈闲宅基地。四十年前生产队长给我们地。但我们全家不是农村户口都搬到县城。三十年了。现如今他们要建庙不与我们商量就盖起了Jh棚并请了神位。该怎么处理。望回复。