购房由于家庭原因不要买了,能否退还定金或者是部分定金

当时中介只要求交2万元的定金，可是后来卖方要求强制交5万元定金。可是当时现金不足，向中介借了2万元交了，有欠条，签署了合同。现在由于家庭原因不想购买了，能否退还或者是将强制交的3万元定金退回。