离婚房子协议注明房子归孩子，孩子谁抚养房子就归谁吗？

离婚时协议注明房子最终归孩子所有，孩子归我（男方）抚养，后女方在外地把孩子接过去，并和我经法院协议更改了抚养关系，把孩子改归女方抚养，当时更改抚养协议没有提房产的事情，问现在女方要房子（房产证是我名字），我现在一定要把房子过户给她或者孩子吗？