我在五年前和家里亲人商议后拆除父亲叔叔的老房子重建并与父亲叔叔签了房屋

我在五年前和家里亲人商议后拆除父亲叔叔的老房子重建并与父亲叔叔签了房屋更换协议,今年我在未告诉父亲叔叔前提下在更换房屋园子里建房引起父亲叔叔不满,要求我退还五年前所建房屋