无房产证回迁房定金合同是否返回

本人有一无房产证回迁房,购房人知道为无产权,但是我们咨询了可以办理网签,我们私下签订了楼房转让协议书,交了2万元定金,现在购房人以产权以后可能有问题,房产证下来还是我的名字为理由,要求退还定金,请问:1.我应该退给他么?2:他说不退会起诉,会涉及到我自己拿诉讼费,或是双倍返还购房人定金的问题么?