与中介签了一份看房交诚意金协议书,由于价格太高,没有交易成功,现提出中止该协议书,中介不肯,如何办?

与中介签了一份看房交诚意金协议书,然后去看房,由于价格太高,没有交易成功,现提出中止该协议书,中介不肯,告我遗约,如何办?