签了三方合同,但未给定金,这样要承担多少法律责任

我准备买一套二手房,看中当天就签定了三方合同,合同上写的是当天交一部分定金,第二天全部付完两万定金,但是当天家里人不同意,就没有交钱,钱,现在卖方不追究了,但是中介要求赔违约金,请问这样我需要给付违约金吗,要承担多少法律责任