我家建房子早上7点开始施工,被对面小区居民投诉,应该怎么办,跟建筑工人商量过,他们说施工时间没办法再

我家建房子早上7点开始施工,被对面小区居民投诉,应该怎么办,跟建筑工人商量过,他们说施工时间没办法再推迟了,因为接下来就是夏季了,天气炎热,推迟工作时间就会推迟下班时间,工人们也不同意。请问该怎么办。