卖方房屋地址重复,买方不想交易了,算不算违约?

我在中介买了个二手房,首付已经在银行冻结,定金、中介费都已经交完了,在房屋交易所过户的时候发现同样的地址,出现了两户人家,经查证是和邻居家用的一个地址,房屋中介和房屋交易所回复,我可以过户,邻居的房屋已经挂起来了,但是我现在想不买这套房屋了,不知道算不算违约?