土地使用权纠纷

我家建房的时候土地是和别人互换的,当时换的时候是口头承诺没有写证明。(建房证上面那块地已经划分给我家了)现在他反悔了!需要我家搬走!我该怎么办?