我们的房子撤了以后不让我们盖

我们家的房子撤了以后，人家买的房子地方不够，想要我们家的地方，我们的地方还不够，经过乡镇调解乡里想让我们让给他4米，我们不同意，乡里有没有这个权利硬压我们不让我们盖房？