我在去年春天租了他家四亩葡萄地,按照前年的葡萄价格,我一次付给他三年的

我在去年春天租了他家四亩葡萄地,按照前年的葡萄价格,我一次付给他三年的租费,每亩一千,共一万二。去年葡萄价格低我连成本没有收回,今年灰霉病爆发,眼看又要血本无归。明年我不打算再租种了,请问我可以向他要回部分租金吗?