我们结婚将近四年,没有小孩,也没有财产纠葛,就因当初男方隐瞒

我们结婚将近四年，没有小孩，也没有财产纠葛，就因当初男方隐瞒年龄，以及自己的草率导致一段错误婚姻开始，男方有极端行为，在他家我可以说是孝敬他母，基本上一个人承担家里的所有开支，他根本没有尽到做丈夫的责任，我对这段婚姻已经彻底的死心了，我是被打了才离家出走的，根本不敢回家和他当面协议离婚，可是男方不愿意离婚，我该怎么办？