住房贷款回访时单位电话没人接怎么办?

在交通银行申请的住房贷款，分别要打电话给我本人和我工作的单位回访的，打给我的接了，但单位电话那边没人接，请问一下这样会不会有什么影响的？中介那边又说已经被退回来了，昨天才发生的事。