您好 我兑了一个店面 双方同意并在合同上签订 除预付定金外 余额分三年

您好 我兑了一个店面 双方同意并在合同上签订 除预付定金外 余额分三年还清 每年年末固定还款多少 三年内双方不得违约 原店主不可收回我也不能反悔 但是过去还不到三个月原店主就要求按每月还一定金额剩余的年末还清 不断口头更改还款方式 搅的我不胜其烦 请问这种情况下我可以合法撤回之前决定 退回店面么