我去年三月买了房子,按揭也办理了面签,我说办理按揭的5000元手续费应该退给我吧,又没有办理按揭

您好,我去年三月买了房子,按揭也办理了面签,当时房产商说要交5000元的手续费办理按揭,所有费用都交清了,材料也早就给了,到年底的时候,房产商给我说,银行没有钱放款,我必须全款付清,我说也行,付款时,我说办理按揭的5000元手续费应该退给我吧,又没有办理按揭,房产说,那个钱她们退不了,合理吗?