去年因为他急于跟一个女人在一起,所以离婚了,两个孩子跟他的老人都跟我住在一起,当初房产写给儿子的,我

去年因为他急于跟一个女人在一起,所以离婚了,两个孩子跟他的老人都跟我住在一起,当初房产写给儿子的,我的管理权,现在他跟那女人混不下去了,又回来要房子,我该怎么办?而且这么多年他一直就在外面混,女人找了无数个,修房子他总的只出去借了几万块