我的老公和前妻的有个十六岁的女儿,离婚时,他把他所有积蓄和房子都留给了他们,他们离婚一年多了,我们婚后现已有个六个半月大的女儿,他们不是因为感情不合而离婚是因为他的出轨,现在他的前妻和她的女儿合起来,来骚扰我们现在的生活,他的女儿和前妻会经常给他打电话,叫他回去,去他们那住三五天,这算什么?!我们经常因为这事吵架甚至动手,我感觉他现在对我也没有什么太多的感情放在我和女儿这我现在一无所有,他也根本不在乎我和他离不离婚,我该怎么办?紧急需要帮助。