我是装修瓦工,业主让我给他装修,一开始干活前没说铺砖前房屋进行各方处理

我是装修瓦工,业主让我给他装修,一开始干活前没说铺砖前房屋进行各方处理,工程干一半业主要求停工各方处理,签的有合同合同没说各方处理,现在我不想给他干了,他吓唬我说告我让我赔他损失。我不用赔偿他吧