人家非法占用我地3年多。现东西丢了要我赔,该怎么办

我有0.5亩自留地，2013年下半年有一个外省人推了一个用铁皮钉的活动房，破破烂烂的，我发现后四处打听，找不到那人，2014.2015年连续有人来租。就找不到那人。今年3月份又有人来租，还没有谈妥。4月份破铁棚被人弄走，那人要我赔钱，天天来找我。我怎么办？有哪条法律来保护自己呢？