房屋买卖,中介未告知5年前楼有问题需要承担责任吗

刚买的二手房,定金刚交完,签了三方协议,但是还没有签购房协议和过户,现在才有人跟我说这栋楼5年前发生过倾斜,虽然开发商已经整改过了且有政府的质量报告,但是我们觉得不舒服,并且房主和中介从头到尾都没有说过这个房子之前出过这个问题,我们想退房但是担心定金要不回来,想问问定金能要回来吗?