以看望孩子为由,影响了一方的正常生活,我该怎么办

我与前妻离婚后,孩子的监护权由我监护,但是,前妻以看望孩子为由,老是光顾我家,给我今后的生活照成诸多的不便,使得我在组建家庭受到了严重的干扰,看望孩子本身没有错,但是这样频频的看望孩子给我的家庭造成了很大的伤害,精神上无法忍受这样的折磨,请问我该怎么办,能不能通过法律来解决目前的现状。