因建房子争议

你好！因建房子打地基时有些小争议，公共巷我也按双方商量尺寸留出来，现在对方要求我和签个协议，要我保证：今后他房子如有质量问题，经相关部门鉴定是我的问题，要我赔偿损失。还说，他和我的施工工人有矛盾，如果不换施工队，就不给我开工。现在每次我这边开工，就来捣乱，请问我应该怎么处理比较合理？