二手房购买,缴纳了定金,约定了首付款,现在卖家说定金和首付要分开算,如果因此打不成协议,责任在谁?

二手房购买,已经缴纳了定金,约定了首付款,之前中介说定金是要算在首付里的,现在卖家说定金和首付要分开算,如果因此打不成协议,责任在谁?合同有约定定金在最后一笔付款时自动转为房款。