我买了个二手房,之前因为我的信用问题房贷换个一个银行,现在已经下款了

买了个二手房交易已经完成。之前因为我的信用问题房贷换个一个银行，现在已经下款了，但原房主要跟我要赔偿，说房贷时间过长，算我违约要赔偿他违约金，不然他就要起诉我，我想问下我要赔偿吗！合同：买卖双方协商同意，剩余房款由贷款银行直接付给卖方，没有约定什么时间，请问付款时间法律上有什么规定吗！