Люблю парня, но не можем быть вместе, уже пробовали

Здравствуйте, подскажите пожалуйста выход из ситуации: встречалась первый раз с парнем(не получилось, недолго прожили вместе, разошлись) вышла замуж, родила сына... Мужа не любила постоянные ссоры, в полтора года ребенка-ушла от него, спустя еще несколько месяцев случайно в автобусе встречаю парня с которым жила, до мужа и сына...

Завязываются отношения(я не в разводе), принимает моего сына, живем около года, на втором году нашей жизни понимаю что беременна от парня . ждем ребенка, на гормонах начинаем ругаться, под конец беременности- он уезжает , потом узнаю что у него был нервный срыв, я рожаю ребенка, испугавшись того что не в разводе и не с тем парнем обманываю мужа и говорю что ребёнок от него, с мужем по прежнему не живем, но участие в жизни детей он принимает.

Спустя 4месяца после родов выхожу на связь с тем парнем, понимаю что не могу отпустить, у него уже девушка, но при этом он тоже ни забыть ни отпустить не может... Уже общаемся около полугода, периодические встречи с интимом, говорит что любит, но при этом ДАЖЕ если я разведусь с мужем, а он расстанется с девушкой мы все равно не сможем быть вместе- он не выдержит .... Как быть?

Понимаю что мне тяжело, слезы ручьем от этих его слов, хочу развестись и быть с ним, у нас же дочь(о чем он соответственно догадывается), но он уверяет что мы не сможем быть вместе...