我买的房三年没交付

你好先生我买了一套房子,离合同交付期已经过去3年了还没交钥匙给我,按合同说:晚交一天钥匙他要一天陪我房价的万分之一的违约金。可现在他叫我去拿钥匙又不想给我违约金,说以后再说。请问我该怎么办?我有没有可能要求退房。要是能退,应该怎么退。谢谢拜