Ревную мужа к бывшей семье, как с этим справиться?

Доброго времени суток!Подскажите пожалуйста,как мне быть? Мне 26 лет,от первого брака у меня2 дочери(5и6лет)После развода я познакомилась с МЧ.Долгое время он служил по контракту в др городе.Там же женился,родился сын(сейчас ему4года)Вскоре развелся(жена сама настояла на их разрыве,на последний его вопрос ей-сойдемся? она ответила,что ей и так хорошо),приехал в родной город где мы с ним и познакомились(1.5года назад).Детей он моих принял,относится к ним хорошо.Ч-з какое-то время он снова решил вернуться на службу,в тот город где у него остался ребенок.Бывшая его приезду обрадовалась.Ч-з пару месяцев приехала я,пока без детей,они остались с моей мамой.Планируем забрать их ч-з год.Пока же подумываем о регистрации наших отношений.А суть моей проблемы такова:каждый его визит к сыну я воспринимаю очень ревностно и болезненно-дня2 как сама не своя,потом вроде бы отхожу,все становится как прежде.Каждый раз его слова-"Я поеду к сыну"воспринимаю как удар...От понимания того,что я у него не одна хочется плакать,ведь на первом месте у него всегда будет ребенок,причем свой родной,первый,наверняка долгожданный...А с другой стороны думаю может и не в сыне дело,а в его бывшей жене.Она спрашивает у него не уехала ли я,предлагала стать любовниками,как-то ночью написала смс с текстом-"Прости,если любил"На все это он ей отвечает,что сейчас ему хорошо-у него теперь другая семья и любимая жена.Он не скрывает от меня,что она хочет к нему обратно,но она по его словам его больше не интересует.Как мне быть подскажите,как его туда"отпускать"? Ему она сына не дает.И как смириться с тем,что он периодически меня бросает ради ребенка?