Встречаюсь с женатым мужчиной

Встречаюсь с женатым мужчиной уже 1.5 года. Вместе нам хорошо, но как только он возвращается от семьи(бывает раз в неделю) у нас начнаются разладки. Из семьи уйти он не может так как говорит, что его держит сын и больше ничего.В браке он уже 5 лет, а ему 27 лет. Все его близкие родственники и он сам знают, что в его семье есть проблемы и они не решаются. Живя так он мучиется, тем самым мучает меня не отпуская и "не подпуская" из своей жизни. мы так же очень много раз расстовались, разговаривали, но это ни к чему не привело. подскажите как быть.