政府主张改建房屋,因我们房子跟隔壁是共墙,现我们不建房,隔壁邻居要建,请问我们可以选择不同意调解吗?

政府主张改建房屋,因我们房子跟隔壁是共墙,现我们不建房,隔壁邻居要建,我们不同意签建房协议,政府来调解,请问我们可以选择不同意调解吗?