我本来想买车但是没有首付钱,找了中介他说可以给我付首付然...

我本来想买车但是没有首付钱,找了中介他说可以给我付首付然后我在那里签下了借款条但是最后车我不想买了。可是我在他那里签下了借款条。我该怎么办。他现在找我要2000块钱违约金,然后才给我借条。但是借条上的钱我一直也没拿到手。