我想问一下我在我们这里买了一套房,买房搭土地是没上合同的,但是今年原房主回来说要回除房子以外的土地

我想问一下我在我们这里买了一套房,当时是签了合同的,土地和经济林木都归我们所有这个是合同里有的,买房搭土地是没上合同的,但是有村干部在场,但是今年原房主回来说要回除房子以外的土地,用来栽树苗,给我赔偿一千元,现在我想要回地,我该怎么办