签订了居间协议后在协议期内还能自己交易房子吗

我和中介签了一份居间协议，但现在不想卖给原来的买家了。我和买家之间没有任何协议或合同，也没收定金。居间协议有效期3个月,在这期间我可以不通过中介和其他买家自己交易吗？协议上没注明我不可以自己交易，房管局说为了保护中介的利益不能自己交易，这样说有法律依据吗？