但是,中介现在一直拖着,不解决,今天房主给我联系了

但是，中介现在一直拖着，不解决，今天房主给我联系了，说让我们两家一起去找中介，就说我不买了，他们不卖了，让中介把钱给我，如果不给的话，让房管局出面去要，这样行吗，我怕我说不要了，最后责任让我担着，本事不是我的原因造成的