二手房户口纠纷买房人能否终止合同?

我打算在建邺区买一套二手房，通过一家中介公司，6月份挑到了合适的房源，并与卖主签订了买卖合同. 可是，事情远不是我想的那么简单，因为我后来发现该房屋内原有户口在合同约定时间内无法迁走，而且卖主不答应退还14.6万元房款且中止合同，另外，中介公司又在催促我交纳6800元的中介费，我郁闷不已。怎么解决啊?