我是农村的,刚刚承包了别人的土地,土地主人是离婚的,土地是归他所有的,我该怎么办?

我是农村的,刚刚承包了别人的土地,土地主人是离婚的,土地是归他所有的,可是她前妻因为和他有扶养费的纠纷不让我种地,她前妻和他没有任何关于土地的协议,我不想惹麻烦,想不包了,可是他没有钱退给我,我该怎么办?