要求中介退回违约金

买方交付一万定金给中介,中介买方卖方签订了房屋买卖协议,现在买方发现卖方违建,造成有安全隐患,买方要求卖方搞好,卖方未在规定时间搞好,造成房屋不能交易,中介说是买方违约,不退定金。