关于购房定金是否可以退还的问题

当时给售楼小姐说了关于付款方式的问题，售楼小姐同意后，我们就去付了定金，但当定金付完后，售楼小姐跑来给我们说公司现在不同意我们这种付款方式，如果要按照我们的付款方式来的话，必须要缴纳5000元的违约金，现在我不想买了，是否可以退还定金