我家因亭子口工程移民后淹沒线上有本户老房两间,父母遗留的住房四间,因年久失修本户将土墙房拆了进行改建当时未及时审批政府应如何处罚?

我家因亭子口工程移民后淹沒线上有本户老房两间,父母遗留的住房四间,因年久失修本户将土墙房拆了进行改建当时未及时审批,后来因移民农业户口迁出政府不予审批,现在我们已建修了,政府应如何处罚?