我和现在的老公都是再婚,我们各自都有一个孩子,因为他离婚以后儿子跟了他前妻就不和他来往了,而我和前夫的孩子还是来往的,结婚前我给他说以后如果结了婚我儿子会来家里的他也同意的,我们结婚以后他提议要再养一个我和他的孩子我也同意养了孩子给他,可现在我和前夫的儿子难得来一次我们家,现在的老公就不开心好几天就不和我说话,这样的日子我都有点不想过了怎么办