我家建房子,以包工不包料的方式包给包工头,他说话不讲信用

我家建房子,以包工不包料的方式包给包工头,谈好是每平方230元。是去年签的合同。合同上有写开工日期和交房日期,今年工人工资有上涨。包工头也要我们加钱。我们加了一次后,而且还有证人,没过多久他又说做我家这活赚不到钱,又提出加钱。我们拒绝。他就怠慢工期。问下各位朋友遇到这样的事,我该怎么办。