我家宅基地后面是农田现在翻盖房子,农田主人让留五米,不让盖到边,我们村这种情况都是留三米,现在不留五

我家宅基地后面是农田现在翻盖房子,农田主人让留五米,不让盖到边,我们村这种情况都是留三米,现在不留五米他不让我盖房,我还怎么办?法律是怎么规定的?