10年前我进入一个单位工作，必须离开老公和孩子到外地去一段时间。这期间新的环境新的生活状态让我很兴奋，和同事相处融洽，有几个关系特别好，其中有一个男同事各种原因来往频繁。不自觉的忽视了老公和孩子。面对他的思念和追问，我多数时候敷衍，应付，隐瞒。后来被迫放弃工作回到家。但和之前两个个异性同事仍有联系，直到他明确说出怀疑，我仍然没有意识到问题的严重性，抱着身正不怕影子斜的想法与他置气。我们闹了两年之后，他不再提起。可2017年底开始又提起了，之后提起的间隔时间越来越短，现在已是天天闹，两个人都身心疲惫，要离婚的念头不停出现，可是我们又都不想放弃。我们该怎么办？