我们家在以前建筑的房子的地方买了个违章建筑的房子 现在建房合伙人闹矛盾 现在建房合伙人不同意

你好 我想请问下 我们家在以前建筑的房子的地方买了个违章建筑的房子 两边是高楼 中间是化粪池 是一条通道 房主在那里建了房子 建在前后两面 中间空着 我们买下来后 现在建房合伙人闹矛盾 开始说好的让我们建洗手间 现在建房合伙人不同意 把我们建在化粪池上面的洗手间给拆了 我们该如何是好