本人将一套房子转卖给别人,对方给我付了付50万的定金,但由于我现在不想卖了违约金不付行吗?

本人将一套房子转卖给别人,对方给我付了付50万的定金,但由于我现在不想卖了,合同上当时写着违约的话付50%的违约金,,我现在把本金还给他,违约金不付行吗?他告我的话会定什么罪名,和什么样的处罚。