Муж, или бывшая любовь?

Здравствуйте!4 года назад расстались с парнем, частично по моей инициативе, частично под давлением родственников.Сразу после расставания стала встречаться с другим человеком.Через год вышла замуж за этого парня, которого считала, что люблю, но каждый раз вспоминала бывшего и представляла нашу совместную жизнь...Сейчас у нас есть дочка,но не чувствую его заботы, муж может сказать что-то обидное, потом скажет, что это шутка, а все равно неприятно, порой задумывалась о расставании, но потом снова все входило в свои русла...Недавно бывший парень(а на сегодняшний день, он женат) написал, что хочет возобновить отношения и что до сих любит меня...Как мне поступить?Сохранить семью и свою и его?Ведь если он уйдет от жены, вряд ли она оставит нас в покое?И еще терзает мысль - вдруг таким образом он решил мне отомстить за свою любовь ко мне.