我是肢体残疾不能重体力劳动的人,生活在农村,我在我家耕地里建了几间房子我该怎么办?

你好!我是肢体残疾不能重体力劳动的人,生活在农村,我在我家耕地里建了几间房子,养了些鸡和猪,可村里人眼热,就把我举报了,说我在地里乱搞建筑,土管局和长政府的人来让我把房子和圈舍拆了,我该怎么办。