土地权属问题;有一个村民在责任制后,村里分给我的山上建了一块

土地权属问题;有一个村民在责任制后,村里分给我的山上建了一块晒谷平,当时村里有那个规定可以在别人的山上建晒谷平晒谷。现在他多年没有晒谷了,我可以把地收回来了吧、