一个已婚女人和一个离婚的男人保持着情人关系但女人不会离婚,现在那个男人以前在一起的女人又回来了他也接受了他说对那女的没感情了只是同情她想有个正常的家,但这个男人也不想放弃情人他说心里只有她只是女的不能离婚,她们还应该继续保持这种关系吗