Не можем долго жить вместе и по отдельности тоже

Добрый день, мы в браке уже 7 лет, 2 года назад я решила временно пожить у родителей,так как ребенку было 4 мес. а у мужа постоянные долгосрочные командировки.Командировки закончились- решила вернуться, прожили вместе пару недель, итог- скандал, разъехались. На расстоянии общались хорошо, через 5 месяцев история повторилась,через 6 месяцев повторилась еще раз. Не понимаю что происходит на расстоянии общаемся хорошо,вместе больше месяца не выдерживаем. Он обвиняет меня, что я сама пытаюсь сбежать, я не доверяю и не верю ему. О разводе вопрос не заходил. Что дальше с этим делать не представляю.