房屋买卖终止和退税问题

二手房买卖交易口头协商好终止,已缴纳税费,由于卖方还没有退还首付款及赔偿,现中介要求先办理退税后再退还首付款,请问怎样做比较保障买房人的权益。(比较担心退税后不能拿回钱)