关于卖房违约的问题，请求接到

前天我准备卖掉正在住的房子，第二天发现怀孕了，不想卖了，卖掉房子也不敢搬去新房子住，现在买方拿着合同不放。得理不饶人，非要买房子，要不就按合同约定要5万违约金，请问，我该怎么办？对方真是不理解人。如果他起诉我，有什么后果，请赐教，不甚感激。