二手房买卖楼层错位(隐瞒)

在中介看好一个6楼的二手房,中介登记所在单元为7层。看过房子,但是由于是晚上楼层外围环境看的不大仔细,在楼道发现还有可以上楼的楼梯,就没细看。签订中介协议后(交过定金),发现楼上只有一户,是阶梯型楼房导致所付定金的房子是顶层,觉得被骗,决定要中介退换定金!