之前因为买房子的事情。伤害到对方的自尊心了，后来因为双方都舍不得一直过着，多年来因为这个缘由引发了很多矛盾，但依旧没分开，婚后，他总是翻旧账，找他沟通就翻出来说心结打不开，然后两人的关系更进一步恶化了。导致现在不敢和他沟通了，该怎么办？