我刚搭建的房子边有一座荒芜三十多年的坟墓,现在有人承认是墓的近亲家属,要求我拆除房子,我如何维权

我刚搭建的活动房边有座坟墓,三十多年没有人祭扫,搭建时绕过坟墓保留原来一个荒草堆的形状,房子建完,却有人声称是墓的近亲家属,说我的房子在他家坟墓的范围内(房子离坟墓最近点约2.5米),坚决要求我拆除房子,请问他们这样要求有法律依据吗?我如何维护我的权益?