我在自家宅基地盖房两

我在自家宅基地盖房两层。在盖的时候我在地基后面自己的地方留了四米。我盖的时候打算外二层后面留窗户，后邻居不让。我该怎么做。我坚持留可以吗。