我用公积金贷款买的房子,当时开发商收了5000块钱住房公积金贷款保证金有没有什么依据?

我用公积金贷款买的房子,当时开发商收了5000块钱住房公积金贷款保证金,现在我已提前还清贷款,要求开发商退还保证金,但他说等办房照时才能给退,这个钱当时是不是应该由开发商交?有没有什么依据?