之前小孩一直是自己在带，离婚后的近两个月是他父亲及其家人在带，自己出去工作了，一个月能看到孩子一次。现在小孩一岁，他父亲会在电话里或见面时跟孩子说：“娃儿不认识你了”类似的话，由于距离和工作的原因，以后跟孩子相处的时间也不会太多，怕孩子懂事后有“妈妈不要我”的负面心理，每每想到这儿，会自责地泪流满面，觉得特别对不起孩子。自己目前的实力有限，尚处在努力先把自己养活的阶段。请问我该怎样做才能减少对孩子的亏欠和伤害呢？