我家是在村里新买庄基地时有别人家的祖坟,我房子院子都盖好了,请问有什么办法吗

你好,我家是在村里新买庄基地时有别人家的祖坟,当时盖房之前他答应移走的,等到盖房时他又改变思想要换别的基地来要挟,条件谈不拢一直拖到现在,我房子院子都盖好了,请问有什么办法吗,谢谢