本来看中一个门市想租下来做点买卖,房东是二房东要求先交5000元押金,(期间没有签订合同或口头协议)

本来看中一个门市想租下来做点买卖,房东是二房东要求先交5000元押金,(期间没有签订合同或口头协议)第二天我又不想租这间门市了(因考虑觉得房租昂贵地理位置也不好)想要房东退还押金结果房东拒绝退还。请问我该怎么做才能要回押金。