卖方可以将定金作为违约金全部不返还给卖方吗

本人6月30日看好一套房子，价格42万元，7月2日交付卖方2万元定金，并草签了一份房屋买卖协议（协议中未体现违约金事宜）。之后向亲属筹款，因该房屋不能办房照，只有房票，亲属都反对我购买。因此，本人于7月4日向卖方提出是否可以终止协议。卖方同意终止协议，但2万元定金不能返还给我。请问卖方扣下全部定金合法吗？