家庭人口5人,因父母早年去逝,现在有异地搬迁政策,但村干部说我的房子面积太小,房子面积小不能搬迁吗?

我是贫困户,家庭人口5人,因父母早年去逝,现在所住的房子是爷爷留下来的,我爸兄弟四人,我只分到面积50平方米的房子,现在有异地搬迁政策,我很想搬迁,但村干部说我的房子面积太小,说我属于无房户,如果要搬迁,一个人头要补添15000,我该么办,房子面积小不能搬迁吗?