我老公家兄弟俩,分家时他家把三间房分给了哥俩,他弟把他的份额卖给了我们那我们分家时给他弟弟家的钱也不算数了吗?

我老公家兄弟俩,分家时他家把三间房分给了哥俩,他弟把他的份额卖给了我们,但房证是公公的名,现在我们这里动迁了。他们看我家得的钱多就眼红了,以房证不是我老公的名为由想把房子要回去。但分家时我们签有协议切动迁测量时有村干部的调节协议。我想咨询一下他们这样合法吗?我们真的必须退房给他们吗?那我们分家时给他弟弟家的钱也不算数了吗?