交过一个男朋友，他有家庭。我实在不愿意破坏，选择分手。可在分手复合的纠缠的过程中发现他是标准的反社会人格。需要你时对你好到不行，事无巨细替你打点。你若逃离时，必定用世上最恶毒的话攻击你，还会上门骚扰。我之前借给他五十万，后来问他要回来了，他还多给了十万。我说退给他，他不要，说是他自愿给我的。我为了避免纠缠让他签了一份协议，说是自愿给的利息。我现在还是好担心他来骚扰我。因为他还是经常会说一些刺激我的话，请问如何能够彻底让他不来骚扰我？