土地房屋纠纷

十年前，我与前任村支书暗地口头协定买了村里的面粉厂，对面粉机进行升级改造并装修了厂子，但因本人做生意失败，面粉厂闲置多年，又因前任支书突然死亡，因此没有留下任何证据证明。现支书以盖村办公室为由打官司要回，我知道自己没有证据不会胜诉，但我想问这种情况，我该如何将自己损失降到最低，谢谢您的帮助。万分感谢。