农村土地所有权归属问题

15年前，我家将别人当时不种的土地捡回来，之后一直由我家耕种，包括上交各种管理税费，现在政府征地补偿，当时的土地所有者想把土地要回去，请问这种情况下，土地的归属权是否发生了转移到了我家，如果不是，补偿应该怎样分配？