我两年前租了一块地建厂房合同签五年 现在没到期使用不到两年我不租了要把厂房拿走需要给他多少违约金厂房拿走需要给他多少违约金?

我两年前租了一块地建厂房合同签五年 现在没到期使用不到两年我不租了要把厂房拿走需要给他多少违约金。合同上没写违约金就写一年一给钱 我使用两年租金都给他了