我在房屋中介处看好一套二手房,当天晚上签了房屋买卖合同,交定金两万元请问我们的定金能退回来吗?

你好,我在房屋中介处看好一套二手房,当天晚上签了房屋买卖合同,交定金两万元,第三天白天再去看这套房子,发现一些问题,让中介协商房主整改,中介反馈房主不给整改,后来我们了解到,这个房子是房贩子的,我们就不想买了,请问我们的定金能退回来吗?