房中房整改问题

我有一套住房私自改成3个单间,近日收到国土资源和房屋管理局下发的整改通知书,说我违反了《住宅室内装饰装修管理办法》第二章第一、二、五款规定，要求将改建的房屋恢复原状。请问，我不恢复原状，会怎么处罚我？会强制进入拆房吗