我今年买了一套二手房,他一直让我支付违约金之后才给我钥匙,合同上并没有注明尾款时间的约定

我今年买了一套二手房,已经到房管局过户完了,但是银行放款很慢,拖延了近一个月才下款,现在尾款也付清了,最近找他要钥匙,他一直让我支付违约金之后才给我钥匙,合同上并没有注明尾款时间的约定,只有办理过户手续的时间,这种情况下卖方找我要钱合理么,我需要怎么处理?我可以告他违约么,这样合理么?