房屋交易契税谁来交?有法律保护吗?

你好我想请问下我们家有一套房是商业贷款的但是已经两年前卖给一户人家且有一部分钱当时说好拿完房产证再给一直是我们家在交贷款没有经过中介所以不清楚具体怎么买卖今年贷款已经交完准备拿房产证过户时买家不肯支付买房的契税我们该怎么办？可以直接把房子收回吗？如果一直协商买家不肯交怎么办