买了没有房产请的二手房子可以退吗？

您好,我于2005年10月花5万元买了亲戚的一套住房,卖家只给了一个土地使用证我,没有给房产证.因为他以前也没有办理房产证.最后我们想去过户,别人说必须要房产证才能过户.所以现在土地使用证仍然是卖家的名字.而且房产证很有可能办不到了.请问这种情况我能够将房子退还给他吗?我有这个权利吗?