房东不退押金

想请问一下,我租了一间小单间,是通过中介找到的,租房时与房东签下了三个月的合同,其中有一条是房东自己要求的,如果不到期押金(300元)一分不退,后来他自己口头上又说,这只是考验下你,押金我会退你的。现在我租了一个月,但我怀孕了,我去找他,但他不愿意退,该怎么办。