我村民组在1985年4.7亩农

我村民组在1985年4.7亩农田无偿给村里办了石粉厂，土地上建起了村办厂，建厂房，开采石山加工石粉，每年约定给村民小组5000元山金，1995年前后转给私人经营，开了3年石粉厂倒闭了，石山不开采了，山金不付了，厂房闲置，2016年村委会用老村部和承包人换取厂房，计划在厂房上建新村部，请问村民组有权主张土地所有权吗？