购买安置房卖家反悔,请问怎么处理

您好,我买了一套房产证没办下来的安置房。首付定金五万,签了一个定金的纸条,双方签字按了手印。如果违约赔偿双倍定金。然后签完合同之后,卖方把合同都拿走了,在我打钱汇款的时候,突然反悔。我们有公证人,但是合同都在他手上。请问,这种情况,我能按照合同走吗,还是只能按照手印纸条约定的走。还是没有任何法律效力,只能拿回定金五万元?感谢