我对象买房,通过中介,中介人是他大爸爸家的姐姐,当天看的房子,下午就催着签合同了你说我们应该怎么降低自己的损失?

我对象买房,通过中介,中介人是他大爸爸家的姐姐,当天看的房子,下午就催着签合同了,我在济南,他在烟台,说了不让他签,最后还是签了,说当时情况,房东也在,中介两大经理都在给协商降低房价,催着就签合同,交了5000定金,签了合同,合同还写着违约要承担房价的百人之二十的违约金。你说我们应该怎么降低自己的损失。谢谢