邻居因建房,和我家互换了部分宅基地,当他家占了我家的宅基地把房子建好之后我该怎么?

你好,邻居因建房,和我家互换了部分宅基地,当他家占了我家的宅基地把房子建好之后,一直不履行他的义务,就是他家的宅基地没有给我,事后现在他也承认这个事实,就是不履行承诺,我该怎么