现在簋街环境改造的管理人员来我家说我家盖的二层不到九平米的小房影响市容我可不可以告他们?

现在簋街环境改造的管理人员来我家说我家盖的二层不到九平米的小房影响市容,让我们拆除,我就不明白我一没出租二没经营,只是自己解决了自己的住房困难,而且周围都是二层三层的餐馆和住房。都没有拆的,我可不可以告他们。