我们家造房子,工人喝酒之后爬上三楼摔了下来,他自己本身已经买

我们家造房子,工人喝酒之后爬上三楼摔了下来,他自己本身已经买好保险,而且赔偿金我们也已经协商好了(与他们的包工头)可是第二天他的家属嫌钱不够又上门来谩骂讨债,该怎么办