我们是农村的,住的是民房,之前是老公父母给他们兄弟

我们是农村的，住的是民房，之前是老公父母给他们兄弟的一人两间，经过多年我们夫妻的努力现在成了二楼的套房，现在他父母居然想要回之前给的两间，请问一下他们有什么权力要回？而且这两间房子当初我老公也有出钱盖的，如果我们夫妻协议离婚房子财产全部归我所有，他父母还能要的回我的房子吗？