菜地权属纠纷

侓师您好，我家有一处菜园，在别人责任山内，我们当地的实际情况是谁的菜地沙土归谁所有。山主也承认菜园地的使用权归我，但是他说菜园地的泥土是他的。我要在菜园地上挖一平地建房，山主不许挖，说我只能在菜地上 种菜，不能挖菜地的土。请问刘侓师，他的说法和做法对吗？合法吗？我该怎么办？