关于二手房中介费的问题

我今年初通过我爱我家卖过一套房，想再买一套大点的房，所以我爱我家一直帮我们找房源，前些天我从21世纪中介那里看了一套二手房，我爱我家也带我公婆看了同一套房源，全家商量后决定通过我家我家签约，签约当天21世纪中介就开始给我们打电话，要求我们付中介费，因我们只是通过他看了一下房源，并未通过他见房主，也未谈房价，我们明确告知他不会付给他中介费，他就不停的给我打电话，几乎两分钟打一次，而且电话中说要到单位找我，而且我住进去之后会经常到我家“坐坐”，已经影响了我的我正常工作和生活，我多次告诉他不要再电话骚扰我，且已报警，但他仍给我打电话说一天不给他中介费，就还会给我打电话，我现在买这套房已没有安全感，但房主也不同意解除合同，今天我应该付房主首付款，鉴于这种情况我不敢付款，请部我该怎么办 收起