租房到期房东迟迟不退押金

租的房子要到期了，然后我不租了。而且提前一个月和他说的，现在还有几天就到期了，他问我要房子的钥匙，我让他把押金退我再给他钥匙，这不是很合理吗，他就是现在不给，还非问我要房子的钥匙，还威胁我说你不给我就把锁换了，让你慢慢等押金吧。我该怎么办，到哪些部门投诉呢，我们都是老百姓挣钱也都不容易 希望能给一个解决的方法。万分感谢。