以前有人把他家地扔给村里了!村里又给我们了!当时地还缴税我们也缴税了!现在土地确权他们又想要回去!他

以前有人把他家地扔给村里了！村里又给我们了！当时地还缴税我们也缴税了！现在土地确权他们又想要回去！他们已经把户口迁走了！户口没在我们村！我们不想给！请问他们能把地要回去吗？