跟我们交换土地,但那户人家不同意,他们在土地上弄了个小房子,如果我们不换就要赔偿的意思

事情是这样的,我们是农村的,我们村里有户人家,跟我们交换土地,也签了协议,但现在我们家不想换了,但那户人家不同意,我们签的时候也没写赔偿啥的,但他们现在的意思是,他们在土地上弄了个小房子,如果我们不换就要赔偿的意思,我想问