户口已经迁出原来的农村了,还能回以前住的宅基地上建房么?

老爸已经是非农业户口了，家里的宅基地也一直空着，现在想回去再修一栋房子。宅基地所处的位置不是城乡结合处是真正的农村，当地政府也没有开发那边的意思。老爸跟队上的人都挺熟络的，大家口头都说没问题，邻居说如果地方不够还能让给我们一小块菜地。这种情况我们还能回家修吗？