向一回迁户今年四月份付款27万买了一套房,最近告诉我房子不是他的,签协议的那套房需要调整,

今年四月份一次性付款27万,但是这几天才知道那套房不是这个回迁户的,回迁户告诉我签协议的那套房需要调整,我很无奈,只好去看了一下,但很不合我心意,我该怎么办?如果要求他退房款,他该怎么退?是否该给我违约金和银行利息?违约金和银行利息该怎么算?