我和老公性格不合感情不是太好,他经常出轨又不顾家,把三个孩子都丢给我负责,我要还房贷又要养孩子,真他妈辛苦上班累得要死,连个心疼的人也没有,这次他又败了家里几万元,还把我当仇人似的好久不和我讲话,家里什么也不管电话不打,我真是心凉透了想离婚,又怕伤害小孩都那么小,我该怎么办好累?