房产户口

我于2009年购买潍城区2手房一套，当时购房合同上没有写明原房主户口何时迁走，因为我家是外地的户口在老家一直没有迁来，所以一直没有管，但是去年我新购了一套新房想把这房子出售了，但是当买家一听说我这房子上户口迁不走别人就不愿意要了，我联系到原房主他不愿意迁走，还让我去法院起诉他，请问我这个问题该怎么解决？？谢谢