跳过中介直接和房租签订租房协议中介现在找上门来问我要中介费

中介带我去看房子,结果发现房东是我以前同事熟人,当时觉得价格贵所以没打算租,房东同事最后给我打电话说是可以直接和我签订租房协议,中介费就可以省了,现在中介找我要中介费,我该怎么办?中介说我当时签订看房协议了,我记不大清楚了,我应该给他中介费吗?