房子处理问题

律师您好:我是个农村住户,十年前经双方同意,本大队有两人做证人。我收买了一处院及房屋,当时我和他们写了一份协议。协议写了如反悔,要双倍钱才能买回。现在他们想收回房子却不想出双倍的价钱。当年的协议算不算数?如果他们真要回房子,那怎么办?