我和老公一直性格不合,结婚二十年吵闹一直不断,和他离婚他又不离,遇上一个我也喜欢他,他也很爱我的人,他和他老婆也不相爱,分开了只是没离婚,他有两个几岁的小孩,经济条件也不好,但我爱他这个人,我很矛盾,不知该怎么办