关于购房与开放商签订借款协议

在3年以前购买了开发商手里的房子。当时开发商没有取得预售许可证书。当时就与开发商签订了借款协议。以房屋进行抵押，把首付款交了。现在预售许可证书下来了。想把房子退掉。想把钱要回来。这个不知道法律上支不支持。退回的可能性大不大？需要怎么做？