通过房产中介卖房子,房产中介费已缴纳,房产证名字是我自己的,现在买房要求按合同赔偿他双倍损失合理吗?中介应该有责任吧!

通过房产中介卖房子,已收定金2万元,房产中介费已缴纳,合同签订,当天中介就把房产证拿走,房产证名字是我自己的,但过户时发现房产证上还有前妻的名字,房产局工作人员告知名字是隐形的,我们看不到,现在买房要求按合同赔偿他双倍损失合理吗?中介应该有责任吧!