甲乙为亲兄弟,甲长期在外地工作,7年前双方口头协议更换了宅基地(没有书面协议这栋楼房是否属于乙的合法财产?

甲乙为亲兄弟,甲长期在外地工作,7年前双方口头协议更换了宅基地(没有书面协议,但亲戚均可证明)。经过村委审批和甲的同意,乙在新宅基地上建了楼房。后来甲乙产生了矛盾,甲便以反悔更换宅基地为由,要求乙拆除这栋楼房,并扬言若乙不拆除就自己动手拆,请问甲是否有权利这样做?这栋楼房是否属于乙的合法财产?