你好,我想咨询一下,我和前夫已

你好，我想咨询一下，我和前夫已经协议离婚，协议写明孩子抚养权归我，他每月逢双周周六可以接孩子探视，且当日下午七点送回女方住所，现因工作关系需要全家去外地，他以我不遵循协议，剥夺探视权为由要去法院起诉，想要变更抚养权，我会失去孩子吗？