我爷爷以前种的地,由于其他原因到外地...

我爷爷以前种的地，由于其他原因到外地了，户口没有迁出，所以地就没法种了，组上不让我爸种要让交组，最后经过协商。自留地让种三年，三年后交组，承诺回来返还土地。土地承包合同也有。现在我想回去要回我的地，还有地里的树，有什么办法？打官司可以吗？