请问租别人家的地,自建的房子,国土局让拆除合理吗?

我们家租用了别人家的土地，在土地上搭建了简易的房子，做生意。并且和租地的签了合同为期8年。现在是第三年，昨天国土局的人来了，不让我们在这里搭建房子，让我们拆除了。请问我们到底应该不应该拆除呢？在这里我也投入了成本，我的损失由谁承担呢？那之前和租地的人签的合同有效吗？