违约金如何退回?关于房商没按期交付房子。

请问专家：我们已经交了首期房款，正在按歇每月银行都收我们的按歇金。房地产商到现在够期了还没有给房子我们交付使用。请问如何与他们协商退回违约金？？不想要了。