请问我的购房款定金能退不？

半月前，我在银川看上了一套小高层，几天后我交了5万定金，签了房屋意向合同，当时是我老婆去交的定金，签的我的名字，按得她的手印，合同上写的是要求十日内交齐剩余的首付款，现在看了贷款利率上调后，我觉得这套房给我的压力很大，不准备买这套房了，我现在能要回我的定金吗？如果要不回能有什么办法减小定金的损失