房屋定金要不回来了

我买的也是二手房,买房时交定金2万,卖我房子的朱女士是买了房子未过户,在于原房主王女士过户时,他让我签了过户手续时产生的一切费用包括税款由我负责的协议,当时因急于过户就签了,结果过户时才知道房主有两套房,得交个人所得税,她让我交,说是我签了协议,我现在不想买这房子了,定金能要回来吗