对方阻挡我盖房,我方因急需房屋改造而签署了一份协议

可以主张对方乘人之危，申请法院撤销你们之间签署的协议。你对问题的陈述实在太模糊了，建议你带上所有书面材料来本所面谈。

如你所述，对方之前与你放签订合同的时候，明显具有欺诈的行为，那么这个合同就是可以撤销的，在知道这个事实的一年内可以向法院提出撤销之诉，如今对方主动来诉你，你方可以反诉其欺诈导致合同可撤销，并提供一定的证据。

关键是你要有建房的审批手续

你可以撤销那个协议。

你们是否有合法建房手续？是否占用对方土地？一般可申请撤销该协议。