我定了个二手房交了三万块定金准备这几天付余款我是一次性付款的想让房主把户口迁走我再付款哪怕上午迁户口

我定了个二手房交了三万块定金准备这几天付余款我是一次性付款的想让房主把户口迁走我再付款哪怕上午迁户口下午付款钱都准备好了。可房主不愿意先迁户口一定要先付余款。我害怕付款之后他更不愿意迁走就没同意中介也沟通不了我可以要求退还定金不买他的房子吗？