房产中介公司罚了我5000违约金，是否违法？

9月于市一房产公司看中一二手新房，其房主是公积金贷款，只交了首付，还有30多万没交。买卖二手房办理过户必须要卖方把钱交齐撤下。于是在房产公司协议下拟定一份合同，我负责在9月30号前将卖方所欠银行30多万，假如在30号前卖方房产过户办不下来，则交易终止。并收双方押金各5000，期间我由于在外出差不能回家，卖方不断打电话催我将30万打到其帐户（这傻子才做啊，我打了你不承认我找谁去）后来又考虑这个房子面积过大140个平方，就不想买了。于是10月初去中介公司办理手续，房产公司说我违约，但是我觉得卖方你撤不下来过户，不就自然终止吗？但是房产公司却罚了我5000元，我的法律知识有限，希望网友能帮我解答下，谢谢了！ 收起