我和卖方都交了中介费在中介,我们达成一致想退房,中介费能退还吗?

我在中介定了一套企业产房屋,当时约定的是先买产权再办过户贷款,但是现在一直不能办理买产权事宜,导致房子没法买卖,我们想退掉房子,请问我和房主协商一致的话,中介费能退给我们吗?他们有什么理由不退呢?