Отец редко видится с ребёнком

Здравствуйте, вопрос касается отношений отца и ребёнка. С отцом мы не живём и не жили, отношения испортились во время беременности, участия он никакого принимать не хотел и после рождения 1,6 года даже не интересовался ребёнком.

Сейчас начал появляться, ну конечно же изредка может по 3 месяца не приезжать. Понимаю что дочь сейчас маленькая и не особо понимает кто он(хотя тянется к нему) дочке 2. Так вот стоит ли продолжать это редкое общение или лучше запретить и не травмировать психику ребёнка? Разговоры с ним ни к чему не приводят. Я ни в коем случае не против общения, но перживаю о будущем.