房屋互换协议的问题

我有一套房子跟别人换了合同上面写要补11万，可是对方只补了7万，我的房以前欠银行10万，他说在11年3月前还清银行10万，我再欠他6万，可是他一直没还，这样算不算违反合约，我有权取消合约吗？我想要回房子，把他给我的7万还给他,来个专业的解答十分感谢