我们村里去年搞新农村建设,安理说私人建房子应该要拿土地给我换才对,请问这种情况土地产权属于谁的

你好,我们村里去年搞新农村建设,把以前的猪栏牛栏和晒谷场全拆了,可是今年有人要在我们家的牛栏那块地建房子,安理说私人建房子应该要拿土地给我换才对,可是人家说那块地以前是他家的 ,以前是充公给集体建牛栏,后来分田到户是分给我们家的,请问这种情况土地产权属于谁的,