二手房买卖中以房屋墙体有改动为由拒绝购买打官司能赢吗

我通过中介买的房子,签了三方合同,我不想要房子了,中介要我支付4800元中介费,我以以房屋墙体有改动为由拒绝购买,拒绝履行合同,房子是装修的,有一壁墙被原业主打掉了,做的柜子壁,但是这壁墙不是承重墙,合同上有(该物业是以签订本合同时的现状出售绘买方,买方已作实地查验),写的有误。