Муж против отношении дочери с биологическим отцом

Мне 29 лет. Муж против чтоб моя дочь общалась со своим биологическим отцом. Дочь помнить и знает своего отца, так как они общаются. Ей сейчас 4 года. А нынешний муж хочет чтобы я рубила топором, говорит как подрастет скажем ей об отце и тогда она сама решит общаться ей с ним или нет. А так сейчас и в дальнейшем переходном возрасте не травмировать ее и не дергать. Не знаю как быть. Бывший муж бывает может пропасть на 3-4 месяцев вообще не интересоваться ею, то свалиться как снег на голову и забросать ее подарками. На алименты я не подавала, так как у него нет стабильного дохода. Он еще не женат.Дочь с отчем ом не в плохих отношениях. Но я боюсь дальнейшего ее вопроса такого как- почему я не давала ей общаться с родным отцом? Думала над тем, что она еще маленькая и вполне легко может забыть своего отца заменив его новым. Не знаю как быть, помогите пожалуйста.