我家是九六年买的房子,买房子的时候地给我了,是口头承诺的没有书面表达,原来的房主来要地请问他家能要回去吗?

我家是九六年买的房子,买房子的时候地给我了,是口头承诺的没有书面表达,我们从买九六年开始种地我家有承包合同,原来的房主来要地请问他家能要回去吗?