我家和堂姐家当时因为堂姐家急需盖房,把房子分为了前后两院,我家是前院我家盖房子时可以不按约定限盖三层和朝向吗?

你好,我家和堂姐家当时因为堂姐家急需盖房,把房子分为了前后两院,我家是前院,家里和他们签了协议,协议上明确要求我家以后盖房不能超过三层,而且规定了房子的朝向,还要留给他家进出的路,但当时口头上说了地基一家一半,但他家占了比我家多,请问这种情况,我家盖房子时可以不按约定限盖三层和朝向吗