Моему мужчине звонит бывшая, он общается с ней

Мне 37 лет. Работаю в администрации по линии молодежи. Около полугода я встречалась с мужчиной. До меня он жил с женщиной 5 лет, которая старше его на 5 лет. По его словам, последние три года между ними постоянно были конфликты и они приняли решение расстаться. Во время совместного проживания он внес в строительство их общего дома 500 тыс. руб. с продажи своей квартиры. После того, как она стала его выгонять из дома, он потребовал вернуть ему деньги. Она пообещала отдать деньги после продажи этого дома. Мы сняли квартиру, живем 2 месяца. Теперь начались звонки, смс-сообщения от нее. Она постоянно ищет повода встретиться с ним. Он не отвергает ее звонков и соглашается на встречи, мотивируя мне это тем, что речь пойдет о возврате ему денег. После каждого ее вторжения между нами происходят конфликты. Я попросила его ответить ей, что у него теперь другая семья и чтобы она его больше не беспокоила, но он этого не делает, а говорит ,что скажет ей об этом при встрече. Вчера, в очередной раз, она написала ему в соц.сетях и предложила встретиться, якобы нужно поговорить. Я увидела это сообщение и между нами опять разгорелся конфликт. Я переехала к нему жить из другого города. Уволилась с работы, оставила дочь по ее инициативе, ей 20 лет, так как она негативно относится к моей новой семейной жизни. Все эти факторы очень сильно разрушают меня изнутри, а теперь еще и эта проблема. Сегодня я собрала все вещи и хотела уехать от него, но он не пустил меня. Он уверяет меня и клянется, что любит меня и хочет жить только со мной, к ней возвращаться не намерен. На мое предложение встретиться с ней вместе, он отвергает, говорит, что нечего мне там делать. А сейчас собрался и уехал к своему другу, семьями они дружили, якобы взять деньги в долг. Меня с собой взять отказался. Я думаю, что он поехал к ней. Не понимаю - как мне поступить? Мне кажется, что он и с ней поддерживает контакт, чтобы не сжигать все мосты - а вдруг что еще получится, и меня боится потерять - а вдруг все-таки ничего там не получится. Ужасно больно внутри. Боюсь, что однажды он придет и скажет ,что уходит к ней, а от этого еще больнее. Я утратила все доверие к нему. Ревностью это не считаю, а лишь защитой своего самолюбия. Подскажите пожалуйста - как мне разобраться!