我想问一下,我谈了个男朋友,可是事后才知道他有老婆和两个孩子,可是他们

我想问一下，我谈了个男朋友，可是事后才知道他有老婆和两个孩子，可是他们并没有领结婚证，而且他和他老婆已经签了分手协议书，双方都签了字，协议书中说是两人各自养一个孩子，后来他老婆就带着小儿子回自己家了，但是他老婆知道我们正在交往期间，又心有不甘，又返回老公家继续住下了，我想问下我们这种情况该怎么办，而我还能和他继续交往下去吗？