该赔违约金吗

我有一套动迁房，还有一年半可以过户，在2016年2月21日领了产证，可我在2016年1月26日在中介与人签订了一份房屋买卖合同，买房给了我5万元意向金，约定2月底前交房款签协议，可第二天我就不想卖了，就把钱交还对方，可买方不同意，说要3万违约金，我不愿。等到了2月25日，买方来交钱，我没有再签合同，或者要求对方涨价一点，可对方不同意，说我违约，要起诉我。这种情况，我该如何处理？如果对方起诉，我会败诉吗？我要付违约金吗？ 收起