诉国土局不履行土地行政法定职责

原告养父逝世后,原告将户口从原村迁至县城并长期居住,并在县城办理集体土地使用证,原告养父的土地由原告养父的亲生儿子修建在基地并居住,原告不服要求土地主管部门对其修建住宅的行为进行制止。然而住宅已修建并居住达3年之久。现在土地主管部门该如何处理。望回复