我外公的土地年轻的时候他让给他哥哥家种,但不是送,现在被他哥哥家霸占了这个情况怎么办?

我外公的土地年轻的时候他让给他哥哥家种,但不是送,现在被他哥哥家霸占了,还盖了房子,现在我外公想要收回,这个情况怎么办?已经让他家种了35年了