合同签订时没付订金就把合同签了

买2手房时中介说让我们三方见面谈一下，我们去后，中介就让我们把合同签了。本应签合同前，要付押金5000元，但是我方当时没有带钱。后来各种原因，我方不想要房了。有什么处理的方法？