中介能退回定金吗

您好,我通过中介看好一套二手房,交了5000元定金,没有签署任何合同或协议,今天中介要求我付清房屋的首付款,但房主不出面签署合同,我担心上当受骗,要求一定要见到房主,中介以各种理由拒绝买卖双方见面,我担心房屋有问题所以想让中介退定金,请问能退回来吗?该怎么做?谢谢