通过中介卖房,由于买房在银行办理了二手房按揭 ,中介一直未肯定答复我银行具体放款至我账上时间,但在我

通过中介卖房,由于买房在银行办理了二手房按揭 ,中介一直未肯定答复我银行具体放款至我账上时间,但在我出国旅游前一天银行放款 与中介之前告知的放款时间提前5-10天 而我已来不及搬迁交付买房,并且已将实情告知中介。殊不知回国后我及时交付房子后买家却迟迟不肯退换保证金,并要求按合同约定赔付他未履约金 请问此事如何处理?谢谢