在房地产中介签了购房合同,中介不退还我诚意金,这合理吗?

在房地产中介签了购房合同,中介收了5000元的诚意金,后来买方因为征信问题中介做不了银行按揭,中介不退还我诚意金,还要我出中介费,这合理吗?我要怎样才可以退回5000元