我大伯是五保户在我家旁边做的房子,现住福利院,我现在重新将危房改建,大伯的房子也是危房这样合法么?

我大伯是五保户在我家旁边做的房子,现住福利院,我现在重新将危房改建,大伯的房子也是危房。我和大伯说好将所有房子推倒做我的房子。大伯答应我!可村里书记说大伯是被国家养的,所以村里有权代表国家收回大伯的住房。虽然地基是我家的!这样合法么?