有一单位于一九八五年征收士地,一九九八年按红线砌了围墙,还有小部分在围墙外)该如何处置?

有一单位于一九八五年征收士地,一九九八年按红线砌了围墙,还有小部分在围墙外,被居民使用,原用地单位现重新将那小部分要回,居民不给,理由是说这土地被抛荒,现由国土部门划规我使用。(居民住房就靠围墙边,也办了集体土地使用证,)该如何处置