认识了一个已婚男人43岁,我24,我们在一起半年了,可是每次他到了12点的样子就要回家,只有一次在我的要求下到了早上六点才回去。后来告诉我那天回到家就和老婆吵架,她老婆现在已经开始怀疑他了,昨天我们又见面了,我不让他回去,她不同意,还是回去了,我真的好痛苦,我承认我自私,我想把他留在我身边,不想他和她老婆在一起。我该怎么办,