房屋中介在交易完房屋后,扣了卖家一万元定金,找各种理由拖延时间就是不给。

房屋中介在收取了买家2万元定金后，在最开始只给了我1万元。约定办理完过户后再给我一万的。但现在已经过户了，我是卖家，我也已经交房给买家了，但现在中介找各种理由拖延时间，就是不给我那最后的一万定金。我要怎么办？如果去法院的话，我要起诉中介还是买家？备注：合同中约定付定金的是买家，但买家最开始时就把2万元定金都交给中介了。