现在我村正在搞惠民工程的建设中,说我仓房后面不给建墙了,书记说乡政府的意见是如果有纠纷就不给建了

现在我村正在搞惠民工程的建设中,我有一个仓房,在建设时说到时路面加宽时你得拆,我一听就把仓房往回撤了回来,仓房的走向是南北走向,南面不碍事,南面没动,但我也留了余地,在这次建设中,说我仓房后面不给建墙了,说图纸上没有,可在建前施工方用勾机都经勾了村长,书记说乡政府的意见是如果有纠纷就不给建了,我该如何解决。