想退买房的定金1万元。

今年想买房，刚开始交了5000元排号费，过了半个月又交了5000定金，现在不想买了，售房顾问说他们公司规定交了房子大定的钱只可以调换房子层数，是不退的。在小定的时候那5000元才给退，后面交的大定5000是不退的。他们这种说法合法吗？若我想要退这1万块钱，应该怎么办，若投诉他们，应该向法院提诉吗？