82年小明家给了新宅基地并盖了新房,理由是原宅基地上的墙是他的,宅基地存在争议应属于他家。

82年小明家给了新宅基地并盖了新房,老房子拆得仅剩围墙,83年他家原宅基地村里批给了我,当时由于资金问题没有全盖,2017年要盖宅基地剩余面积。现在小明家不让我盖房,理由是原宅基地上的墙是他的,宅基地存在争议应属于他家。问83年批给我的宅基地上他家留下的房墙和院墙,现在还归他吗?有什么法律法规上有明确说明吗?