签了《合作建房协议书》,没有签购房合同,所交的定金,可以要求开发商全额退款吗?

本人购买了一套房,刷卡付了5万现金;开发商只开具3万订金,代理公司只给了我一个2万刷卡小票,因快1年都没取得商品房预售许可证,不想要那房子,要求退钱,开发商只退3万,(当时签的是〈合作建房协议书〉还没有签购房合同,协议上是3万订金)真的想退掉房子,要回我的5万元。怎么办?