对方一直没给办理房产证该怎办?

我于2006年初买了一套房子,房产证上是男方姓名,当时只是与女方签了个协议,也没有进行公证,并一次性付清了房款,可到现在房主也没与我们办理房子过户手续。我多次催他们,他们只说忙,没时间。我真担心会出什么问题,但也不知会真会发生什么,只是揪心。请问我该怎么办?谢谢我多次催促,他们都有点烦了。我又担心惹火他们会更不好办,真为难。如果我真要起诉,他们仍不回来办理会怎么样呢?谢谢 收起