在无合同的情况下,对方私自扣除我赔偿款,我可以上诉么

项目部 、包头（无资质，与项目部有合同）、我（无资质，与包头无合同）。三方，我下面的小工发生工伤，项目部和小工家属协商赔偿50万，双方并签订了施工劳务赔偿协议书，现在我担心的是，若完成工程后，上面私自将这50万从我工程款中扣除的话，我可以起诉么。