历史遗留房子

房子建筑期间、。没有管理部门。、现在因隔壁的纠纷要我拆除。怎么办。前提是不影响任何人。只是因为其他的问题、他去告我。非要我拆除