但没有签署钥匙管理协议,后已去中介拿回钥匙。甚至其他中介都有钥匙。是否违法?可以告他们吗?

钥匙之前交给中介,但没有签署钥匙管理协议,后已去中介拿回钥匙。最近发现,还有人开门看房,甚至其他中介都有钥匙。还理直气壮跟我说这种情况只有换锁。这种情况是否违法?可以告他们吗?怎么告?