XX房产工作人员带我看了一套房,因为首付太高没有谈,后来别的中介公司也带我看到了同一套房请问我该怎么办?

XX房产工作人员带我看了一套房,因为首付太高没有谈,后来别的中介公司也带我看到了同一套房,并且通过努力谈成了,XX工作人员以带我看过房为由打电话向我索要5000元中介费,并威胁装修时上门闹事,请问我该怎么办?!