我家房屋后面有两块墓地,十年前我做房子的时候墓地就在那里了,当时这附近都是山这个合理吗?

我家房屋后面有两块墓地,十年前我做房子的时候墓地就在那里了,当时这附近都是山,后面我们钩平土地,在那墓地脚下做房子,现在我打算在屋子旁边做个车库,做墓地的家人说那个地盘是他家的,他要做房子,这个合理吗