看房押金能否还退还

您好！前几天通过中介去看了一套二手房，第二天交了5000元押金并与房产公司签了一份购房协议，考虑三天后，决定不购买此房，但房产公司却说此押金已转交给房东，房东有权扣除此押金不退还给我，请问这合法吗，我还能不能要回押金