抚养权归男方,可以约定女方长期和孩子一起生活照顾孩子吗

孩子年幼,双方协议离婚,约定抚养权归男方所有,但为了最大限度不伤害年幼的孩子,双方约定仍由女方长期和孩子一起生活,照顾孩子的生活起居,且因女方照顾孩子而不必支付抚养费。请问这样的离婚协议是否有效?会不会违法?