爷爷当时和他二儿子过,二儿子当时是工人,家里建了新房,我是爷爷二儿子的侄子不知我该怎么做?

爷爷当时和他二儿子过,二儿子当时是工人,家里建了新房,我是爷爷二儿子的侄子,他当时为了自己过的清闲,说让我搬去爷爷XX基照顾爷爷到去逝。我已在爷爷XX基建了房屋,自今已有30年,如今遇到拆迁,他现在却说XX基应该有他一半,房屋是我一人出资建造,不知我该怎么做。