爷爷有五间房屋,五十年前父亲与前妻结婚时

爷爷有五间房屋，五十年前父亲与前妻结婚时居住其中的一间，结婚十年后前妻出轨离婚，离婚期间前妻以死相逼，逼父亲写下给她一间房屋的协议。而后前妻拿着协议与第三者结婚生子后再无往来。二十年前我母亲和父亲将房屋翻盖为平房，父亲前妻并未有异议。今年我们重新将翻盖为楼房，父亲前妻前来索房，我们应该怎么办？