Почему опять расстаемся?

Добрый день! 20л назад встречалась с парнем, была сумашедшая первая любовь он ушел в армию, я вышла замуж, но не по любви о чем всегда жалела. 5л назад встретила эту первую любов. Счастью не было границ. Но у нас семьи и расстояние в 300км. Мы сумасшедшее хотели жить вместе, постепенно готовились к разводам. Он умолял меня уйти из семьи как можно быстрее т.к. очень ревновал к мужу. Я должна была оставить сына 16л. на пожилых родителей в городе, работу и с дочкой 8л.переехать к нему в пгт. Я его попросила, подожди – потерпи еще чуть - чуть, я оформлю квартиру на сына пока не в разводе (т.к. после развода знаю муж ничего не отдаст). И тогда он сказал "не хочешь сейчас, потом ты мне не нужна, я не буду ждать пока ты решишь все проблемы" Он изменился, перестал звонить и приезжать. Звонила я и просилась о встречах, умоляла "хочу с тобой жить" готова уйти не решив проблемы. Но он говорил "Поздно, ты была актриса" Сейчас остались оскорбления и обвинения, что я не ушла когда он сказал. Даже узнала, что для него имело большое значение как бы я ушла (или попалась и муж узнал об измене или открыто сказала - досвиданье я ухажу к другому). Я терплю уже год, надеюсь, что опомнится, ведь любили безумно друг друга. Я готова ему сейчас же все простить и уйти к нему, ежеминутно думаю о нем. Сейчас редко перезваниваемся и постоянно один разговор кто из нас виноват, но я то как и раньше очень хочу сним жить,а он отвечает "Я теперь не могу, у меня проблемы" Я отвечаю "Я буду ждать сколько надо" он хладнокровно отвечает "Жди". Но между нами не тех отношений которые были раньше. А в своей семье жить не могу т.к. отодвинула и видеть не могу своего мужа, он еще и изрядно выпивает всю нашу совместную жизнь. Терплю просто из последних сил. Уйти к пожилым родителям с двумя детьми - совесть не позволяет. Что мне дальше делать не знаю. Помогите мне! Я очень его люблю!