业主推翻自己当初的口头约定,说只退租金不退押金,在这种情况下我能否解除合约?

我5号晚在中介的见证下和私人业主签了份租聘合同,并当场交了2按1租的钱,双方口头约定把钥匙交给中介6号去抄好底表然后和我交接,给几天时间我搬东西10号起租,当6号中介问业主拿钥匙时,业主说已出外不在本地,要8号回来,到目前为止钥匙没有交给我或中介,多次经中介调解,业主推翻自己当初的口头约定,说只退租金不退