居间协议买方违约

我通过上海链家看中了一套房子,签订了居间协议,交了5W定金,这段时间突然国家出了调控政策后我考虑了一下不想买了,居间协议中约定了定金费用和房价20%的违约金,没有约定违约中介费的内容,同时还有一系列买卖双方的流程,我想问一下我具体要承担什么责任?是要赔定金还是违约金?中介费还要付么?