能否不让他建，有没有具体的规定？

我在浙江宁波的农村，现在有个人想在我们家旁建楼房，他只有38平米的土地证，要建64平米的房，占用26平米公共土地，村里已经默许。我不想让他们建有没有具体的规定能阻止他建房。