我家有间房子,卖给我大舅,后来因为闹矛盾,感觉不能在一起住了,决定不让

我家有间房子,卖给我大舅,后来因为闹矛盾,感觉不能在一起住了,决定不让我大舅一家住了,我大舅说:走,可以,但要赔违约金5万,可我大舅15万的房子,因为是亲戚,就要5万,我家还借了一万,剩下的钱都没给,请问这用赔违约金吗?闹矛盾的原因是我大舅因为无关的小事打了,我爸。求解答。