我家是1997在某村征了一片集体荒岭来建设房子当年有关部门给你们发了土地临时使用证你说像我们这种情况真的是违法建筑吗?

律师你好!请问我家是1997在某村征了一片集体荒岭来建设房子当年有关部门给你们发了土地临时使用证,土地证里面填写用途是:临时居住,使用期限这项是空白的。就这样住了20年,现在拆迁了法院说我们是违法建筑。所以不给予我们赔钱,你说像我们这种情况真的是违法建筑吗?