买套房,没有签署正是合同,只手写了份定金收条,不买了。能要回定金么?

本人8月前与一个房主达成共识,把房子卖给我,我这面考虑做贷款。相互间出于信任的角度,没有签署正式的买卖合同,房主只给我写了份定金收条,相约房主办理好手续后,进行过户,可8月后,我是外地人,贷款政策变化很大,限制外地人购房,导致我的贷款被拒,全款我又没法筹到,我现在该怎样办?请高人指点。