买了二手房,因为装修押金的事房东不交钥匙~

买了二手毛坯房，房子土地水电都已经过户，就等银行放贷款了，房东要求我们先退还之前他交的装修押金才交钥匙，不然不交钥匙，之前我们都不知道还有装修押金的，本来说去物业看看可不可以退给他，后来他说话很冲，我有必退给他么？他要是不给钥匙我可以叫人开门换锁吗，不知道怎么办了