20年前我们买别人的房子,经过两次打宅基地,我们宅基地使用面

20年前我们买别人的房子,经过两次打宅基地,我们宅基地使用面积是3分地,以前的房主回去跟我们说现在的院子里有他3分自流地,让我们把那3分自流地给他,1、他能不能在这3分自流地上盖房,如果他盖房我们就无出口.2、如果我们不签字他能不能建房。