没法与老公发生关系，该离婚吗？我们是介绍认识的，在他之前我深爱着一个仅见过一面的男孩子，他是我舍友的同学，后面一直微信聊，彼此有感觉。但是想到他是外地人我就把把他放弃了，选择了现在的老公。选择的原因也仅是因为他家里条件不错，父母开明，也觉得他性格挺好，感情嘛都是可以培养的。可是在一起后，发现他很多坏毛病，所以我冷漠了几年。现在他也有所改变，但是我还是很害怕和他发生关系，该怎么办？