Муж скрывает, что общается с бывшей женой

Здравствуйте,помогите мне пожалуйста разобраться.Мне 34.Мужу 43.Я вышла замуж 4 мес назад.У меня от первого брака есть сын-14 лет.У него от первого брака сын моему ровесник и дочь 4 года.Мы с ним знакомы 17 лет.серьезные отношения 2 года.Живем в разных городах.То я к нему стараюсь ездить,то он ко мне.Но,в моем же городе живут его все родные,и его бывшая жена с детьми.Когда я к нему уезжаю-оставляю сына на маму,но т.к.он уже не маленький,можно сказать что оставляю его на самого себя,мама его только кормит и ночует с ним.Когда приезжает муж сюда,пока я на работе,он матается по делам,по родителям и естественно со своими детьми общается.Когда я прихожу с работы домой,его практически никогда не бывает дома,а приезжает позже.Как я понимаю:он не старается провести со мной время и побыть вместе.Хотя он сейчас в отпуске и мог бы к моему приходу уже быть дома,но нет.Я терпеть не могу когда мне врут.Когда он катается со своими детьми куда либо(то к бабушке,то в магазины,то на детские развлекаловки)-говорит,что без бывшей жены.А как оказалось ,я узнала что она с ними тоже иногда бывает.Хотя младший ребенок уже не грудной,и какого хрена ее брать с собой?Низнаю что мне делать.Ему еще я не говорила что знаю что он мне врет.Боюсь если скажу,а я очень эмоциональна,могу наговорить много лишнего,он просто будет под дурачка косить-типа он пошутил.Он никогда не сознается в том,что врет мне.Как мне быть?