我我上个月4月20号买了一套房子,那时候和顶账老板说好的一次性付清给退吗?

你好律师,我咨询一下,我上个月4月20号买了一套房子,那时候和顶账老板说好的一次性付清,先给了他15.5万,剩下的18万赶5月20号还清,如果到这个期限还不清的话,加收上个月和这个月的违约金,每月5千,可是在这凑钱的期间出了点状况,没钱给他,我想退房子的话怎么办,给退吗?违约的钱怎么算