关于房地产买卖居间协议的签定（代签的问题）

我家最近在买房子，不过由于和中介那里发生些小摩擦，所以想不买了，但已经付了一万元的定金和签了房地产买卖居间协议，所以觉得很难把那定金要回来，好象违约的话还要付中介9000元。