要修路硬说我房子是违建,通知我三日内可以行政复议,却相关工作单位却不肯受理

村里搞路要拆我房子，不愿意赔钱就说我被分到地盖起来已有三年的房子是违建，同时盖起来的三层楼，说我楼上两层属加盖，开了一单子说是有任何问题三日内提出申述，过期当放弃，结果去单子上说的部门申述时，工作人员却总说负责人不在，去我们村里了，可回到村里一问，城管从没下来过？这种情况请问我该怎么办？