土地转让协议纠纷

我在我家乡农村给别人转让了一块土地修房子，后来建房子开工的时候才知道这块土地不完全属于卖方的，生产队的人出来阻挠修建。现在卖方又不退钱，要我起诉他。请问***律师我现在应该怎么办