对方购房贷款暂时办不下来,已过约定期限,却不愿支付违约金

购房合同已签,首付已付,但对方办贷款不顺,已经换了三家银行,超过合同约定期限,又不愿按约定支付违约金,协商无果。我作为卖方是否应该去法院起诉要求对方支付违约金?是现在起诉,还是等贷款办下来再起诉?如买方贷款办妥,却不付违约金,我是否可以不给他过户,等待违约金起诉结果。