探视权能否接孩子到住处

我一个月前协议离婚,儿子由男方抚养,女儿由我抚养。当时说的是双方可以相互接孩子,但是协议书上只写了有探视权。后来我要求接孩子男方说只能看看,我一再要求他发信息说孩子生病过几天再让我接,当我去接孩子的时候男方的父亲不让我看孩子还打了我,我该怎么办?这种情况我是否有权利接孩子到住处