以前的老房子兄弟两个住在一个院子里用一个大门,现在矛盾很深我要求拉围墙对方不肯我怎么维权?

以前的老房子兄弟两个住在一个院子里用一个大门,现在矛盾很深我要求拉围墙对方不肯,给他留门,他也不肯,不准我盖房子,不准我拉围墙。我拉的砖道在我家门口。他们把我的砖扔到了路边子砖打碎了,我怎么维权。