买了房子交了首付想退房 怎么办

你好 请问一下 我买房子交了20万的首付 是分期付款 但是现在由于个人原因想退房 当时合同上有写明如果单方面违约要扣 10%的违约金 可是去的时候那里的经理又说要扣20% 请问这种情况我应该如何办 呢 还有就是如果对方同意了或者递交了退款协议能够在多少天内拿到自己的首付呢？