关于房屋买卖问题关于房产的法律

关于房产的法律我买了一套二手房，和卖方签了买卖合同。定金已经交完，贷款也申请完了，房税都交完了。就差过户和首付了。房主因为怨中介办理的太慢，现在又不卖了。他有权利吗？说明一下，房产证上不是他的名字，办理一切都是房产证上的人，合同也是房产证上的人签的。他如果不卖，我应该追究谁的违约责任，中介费是否要退还给我？