我和卖方都交了中介费在中介,我们达成一致想退房,中介费能退还吗?

我在中介定了一套企业产房屋，当时约定的是先买产权再办过户贷款，但是现在一直不能办理买产权事宜，导致房子没法买卖，我们想退掉房子，请问我和房主协商一致的话，中介费能退给我们吗？他们有什么理由不退呢？