Хочу сохранить отношения с молодым человеком

Здравствуйте!!Меня зовут Нина,мне 23года,я живу гражданским браком с человеком на 13 лет старше меня.Живём практически 2 года,в том году расходились на 3 месяца,но он не хотел отпускать меня да я и сама не хотела "отпускаться" и мы снова вместе стали жить.А причина наших конфликтов.Его прошлое.Он был женат,в браке дочь.Сначала я вообще не могла стерпеть даже его поездки,потом попыталась понять и принять.Но наступил момент когда ему как будто стало всёровно,он возвращается оттуда поздно,когда хочет тогда и едет,хотя мы заранее обговаривали дни его встреч.И потом в телефоне я нашла переписку с бывшей сотрудницей.Говорит просто так.Толком отношений нет,чуть что - конфликт,я к маме.Раз ушла,два ушла,теперь если ругаемся,сразу говорит чтоб к маме шла.После ссор,всегда я первая шаг делаю,раньше было наоборот.Я мозгами понимаю,что это конец.Но из сердца не могу выбросить.Постоянно скучаю,страдаю,плачу.Мои слёзы давно стали для него забавой.Чувствую себя виноватой.помогите мне советом,если не спасти отношения,то хотя бы моё внутренне состояние.Заранее благодарю