Конфликт отчима с сыном

Здравствуйте,мне 28 лет,имею юридическое образование,в данный момент нахожусь в отпуске по уходу за ребенком.Я познакомилась с мужем 5 лет назад,когда моему сыночку был 1 год.Так как своего родного отца он не знает(я была матерью-одиночкой),муж попросил,чтобы мой ребенок называл его папой.Сначала взаимоотношения между моим сыном и мужем были очень хорошие,но в последние 2 года я вижу как мой ребенок стал мужа откровенно раздражать,он придирается к нему по каждому пустяку,часто называет глупым,говорит о том,что мой сын будет плохо учиться,что ничего в жизни не добьется и все в этом роде.Когда мой сын о чем-то просит мужа(например прочитать книжку,помочь застегнуть курточку)то тот говорит ему "отстань","отвали".Я сказала,что если такое будет продолжаться и дальше,то я заберу детей и уйду,тогда муж просто стал игнорировать моего сына,перестал с ним общаться вообще,ребенок задает ему вопросы,а он ничего не отвечает.Недавно у нас родилась дочь,так муж еще хуже стал относиться к моему сыну,сначала даже не давал подходить ему к дочери,но мой сын очень любит сестренку и она рада,когда он с ней играет.На днях у нас произошел серьезный конфликт из-за сына-я сказала мужу,-"Ребенок не понимает почему папа к нему так относится,он ведь не знает что ты ему не родной отец."На что муж мне ответил:"Не нужно называть меня папой,пусть зовет меня дядя Леша".Я очень долго плакала,потому что знаю,что если я так скажу,то это будет большой удар по детской психике.Мой сын очень тянется к мужу,ему не хватает общения с отцом,он мне даже задает вопросы,-"Мама,а когда папа перестал меня любить,когда мне 3 или 4 годика было",на что я ему отвечаю,что папа не перестал его любить,а просто очень устает на работе,вот и приходит не в настроении все время.На последок хочу сказать,что мой муж не пьет и не курит,ответственный человек,работящий,очень любит дочь и меня и до определенного времени любил(как мне казалось) и моего сына.Он очень не любит ругаться,если и происходят изредка какие-то конфликты,то он всегда первый идет на уступки и мирится.Но в данной ситуации я не знаю что мне делать,муж совсем меня не понимает.Помогите,пожалуйста, советом.Может мне как-то удастся наладить отношения между моим сыном и мужем.Заранее благодарна.