我买二手房，对方不交个人所得税，导致我不能过户！

1，对方说自己只有1套房子，但经查询，他有2套。。。（没有书面证明，仅口头表述过。）2，所以我们要交3%的契税，另交个人所得税（本该卖方交）。对方拒不交任何款项。3，我们的房款已经全额付清，此次交易通过中介。中介表示要么我们交税，要么全额退款。4，合同上没有（如何支付税款的)责任划分。我们应该怎么办？