销售代理可以有违约金吗

请问我从上游进货,上游和我约定,我在他家买的货他都帮我销售,我只要先付80%的货款,剩余20%他帮我卖出去货我再给他,如果卖不出去剩余的20%则作为违约金不再支付给他,这样在法律上可以吗。