二手房东不退押金怎么办?

事情是这样的…因为是第二次住进那栋楼…签合同的时有的细节也没太注意。退房时拿合同和押金单给他说退不了…说合同没写交押金…合同上有盖章的…但是押金单上写得很明白啊…他又说什么押金单上没盖章哦…、可是有之前那个房东的签名…他就说没盖章不管用…就是不退。我现在该怎么做呢?