在私人地方砌房子,有时间限制吗?

我现在住的地方是私人砌的房子,最近一段时间对面在砌房子,每天早上6点多早早就开工了,而且噪声非常的大,常常吵得我们都睡不了觉,所以想咨询一下,像这样的情况应该找什么部门反应?能不能制止他们?