中介用他亲戚冒充陌生客户买房子收违约金

2016年9月某地产中介说有个客户要买我的房子,叫我过去见客户,后来跟客户签了买卖中介合同,10月后我不想卖房子了,然后按合同赔了买方2万,赔了中介2.7万。但是后来有人跟我说那个客户是中介的亲戚,冒充客户来买房的,中介却装作跟客户不认识,我觉得受到了欺骗,请问这个可以要求退回违约金吗?