关于无偿使用协议

如果我有一栋房产，我要给我弟弟使用。要怎样才能交最少的税。大家把我看看这个怎样。我和弟弟签署一份无偿使用的协议，我不收租金，不过他要负责我这栋房产的各种费用（其中就包括房产税、土地使用税）由他去交，这样的话我是不是就不用交营业税、个人所得税及其他的一些税费了。希望知道的不吝赐教。