现在我有没有卖这座房子的权利？

我2004年买了个人的一所房子,签了一份合同。内容大概如下:“此楼房永久归我使用,另每年交给他500元土地使用费,” 2008年我合法办理了了“房权证”,和“土地使用证”现在我是不是就不用缴纳给他500元的土地使用费了?(合同还在他手里)现在我有没有卖这座房子的权利?