房屋转让协议书双方都签字按了手印了,我也收了定金,家里人反对不给卖,所以没办法履行合约,买方就要我赔

房屋转让协议书双方都签字按了手印了，我也收了定金，家里人反对不给卖，所以没办法履行合约，买方就要我赔偿他双倍的定金，如果我不赔买方能起诉吗？