一定要退回公积金才可以退房吗?

已经交了10万定金,可是由于我妈生病的原因经济条件有限,支付不起该房子的各种款项,并且要去外地看病。所以去退房,工作人员却对我们说,必须先退掉我们取出的公积金,再退掉合同,才可以退房,还回10万定金。公积金是我们自己的钱,是我们辛苦每年单位扣了7多块钱工资积攒起来的。请问,一定要退回公积金才可以退房,拿回定金吗?