和我老公结婚之前，就认识一个有家室的一个成功人士，刚开始认识的时候就是聊聊天，最后因为一次大家出去玩，有了身体接触，虽然心里很抵触，但因为之前没有性的概念，所以有点好奇，最后就半推半就的，平时我们没在一个地方，偶尔见一面，大部分都是电话聊聊天，从内心很鄙视小三，所以一直很纠结，从内心也不想破坏他的家庭，最后我选择去外地工作了，基本就没见过，但偶尔还联系，最后我越来越讨厌自己的样子就不再和他联系了，但经常还是会想起，后面认识了我现在的老公，他对我很好，我也想着这下应该可以放下了，可还是放不下，今年又开始联系了，我对他没有太多想法，就是希望和朋友一样聊聊天，可他想的不止这么多，我们彼此都知道不可能在一起，也没想过离开现在的家庭，但我就是心里放不下他，总是喜欢和他聊天，因为他懂我，不论我说什么他都可以理解，也能给我生活上和工作上一些建议，但心里一直感觉对不起现在的老公，我们关系也很好，我到底该怎么办