我有权拒绝房管局的询问要求吗

因别人信访称我敲承重墙，房管局要求我配合询问。我的理由是本小区80%以上都存在这个现象，要求统一排查，有问题的一起整改。因不公正执法，我不配合询问。现房管局想发函通知到我单位，要求配合，请问房管局有这个权利吗？有侵犯到我的个人隐私权吗？我该如何维权？我执意不配合需承担什么法律责任。