我之前跟中介公司以及房东签了双居协议,当时问他们说如果买房条件不符合怎

我之前跟中介公司以及房东签了双居协议,当时问他们说如果买房条件不符合怎么办,中介告知没事,会帮我们找黄牛解决,但是我们咨询过派出所,因为居住证问题无法落户,就买不了房,所以想解约,但中介要我们支付中介费跟违约金?我们该如何处理?