Отношения с женатым человеком

У меня уже почти 3 месяца длятся отношения с женатым человеком. Мне 24 года, а ему 36. Но проблема в том что я замужем уже много лет, мы с мужем (назову его буквой Ю) ровестники, 10 лет как мы вместе.

Со мной это случилось не впервые, измена мужу. Но в этот раз все на много сложнее. Я не могу бросить своего любовника и вернуться полностью в семью и быть с мужем.

Понимаете человека с которым у меня роман на стороне (назову его буквой М) , я его знаю с прошлой своей работы, мы работали вместе 5 лет, и он не был тогда женат, он флиртовал со мной, но мы оставались просто друзьями, пока я не уволилась с работы. Это вспышка отношений пришла буквально за 2 недели до моего увольнения. Он всегда говорил что я ему нравлюсь, и что он меня любит, но это все было на уровне шуток и приколов. Он очень веселый. Так вот сейчас я работаю на другой работе и мы с ним говорим каждый день по телефону 3 раза в день и видимся часто ну вы понимаете...И я к нему так привыкла, я не могу нечего с собой поделать? Я не знаю как мне быть, есть ещё столько нюансов из-за которых мы не можем быть вместе и это не реально, что бы он развелся и я развелась, и поэтому мы остаёмся с ним друзьями- любовниками, я не знаю почему я не могу его бросить (как предыдущего) и я мучаюсь, я привыкла к нему, мне весело с ним.

Посоветуйте мне пожалуйста как мне быть?