两人已经离婚,离婚协议上写的是孩子归女方抚养,房子

两人已经离婚，离婚协议上写的是孩子归女方抚养，房子归孩子所有，请问律师男方还能住在这房子里吗？我没有房子为了照顾孩子住在这个房子里，可前夫也住在这里不走，见面就吵，很烦.（他另外还有一套房子，就是不搬走，孩子才四岁）