我和老公性格不合经常吵架,和他过不下去我都出走几次

我和老公性格不合经常吵架，和他过不下去我都出走几次了，这一次唱达三年多。他这个人特别小小心眼，多看别的男人一眼回家就大吵大闹。女儿都五岁了他家里人没给拿过一分钱，他也没拿过一分钱。所以我坚决离婚，但是他总是拖着不表态。我该怎么办？