房产属权问题

事情是这样的，爷爷生前立下分家协定，我爸两件屋子，大伯两间屋子，二伯两间屋子，剩余一间留给爷爷奶奶自己住，规定爷爷奶奶去世之后再给三伯，去世之前三伯没有实权，房契上是他的。然而爷爷去世的早，我们家要造房子，奶奶答应把房子给我们，请问我们可否不需经过三伯同意就造房子，把三伯的地占有。重点是奶奶现在有权将屋子给我们吗？