请大家帮帮忙,我是女性,十年前我和一个男的 没登记没办婚礼的情况下就有了两个男孩可是男方不愿意怎么办?

请大家帮帮忙,我是女性,十年前我和一个男的没登记没办婚礼的情况下就有了两个男孩,后来因为家庭不和我带着一个孩子离开了那个家,现在我带的这个小孩已经七岁了,我的困难是我带着他过不好小孩也受罪,我想把小孩送回去跟他哥哥一起生活,小孩户口还在男方身上,可是男方不愿意怎么办??