和二房东签的合约,没有违约现在怎样才能退押金?

我是和二房东签的租房合同,(二房东也是里面的租客)租期为九个月,由于工作调动原因,所以想搬家。合同里有注明如有变动需提前一个月告知。我已经提前一个多月就和他说了,现在一同住的人大家决定不租了。一同搬走。二房东以大房东不退押金说是租房子麻烦不再出租了为由。不退还租金,现在我该怎么办呢?难道真的要不回来押金吗?