别人家的坟在我家自留地,由于坟周围的树木繁盛,影响我家农作物生长,请问我违法了吗

你应该先起诉对方恢复原状,但你没有起诉解决。现在他可以起诉你,赔偿损失,但你也可以反诉他,要求恢复原状,赔偿农作物的损失。