土地使用权归谁

我家后山有一块地,我父亲80年**荒出来,20多年来一直是我们使用,现在山主不经过我们同意,连问都不问就将那块地上的果树砍了,他还说是他的山,他想砍就砍,现在他强行要回土地,请问这样如何处理最理智?(使用过程中一直无人干涉,现在征地开发,他就强行要回)