我是上门女婿,儿子现在已有二十岁了,我和老婆在外地打工八年多,挣钱盖了新房子,但是现在儿子却认为我把他丢在家里成留守儿童,我丈母娘对他不好,本来我就和丈母娘关系不好,现在我儿子对我很不孝顺,我老婆对我还可以,我以后该怎么办啊?