Муж не может простить

Здравствуйте, проблема вот в чем. До того как познакомиться с мужем у меня были близкие отношение с женатым мужчиной, после встречи с мужем он об этом узнал и мне пришлось делать выбор. Он был в пользу мужа. Он вроде простил, прошло больше 6-ти лет, мы то сходились то расходились, появился ребенок. Сейчас живем вместе и он меня все время оскорбляет если ругаемся и откровенно заявляет, что не может забыть прошлое. Я ему предлагаю, если он не может забыть то нужно расставаться, так не возможно. А если он решил жить со мной, то больше об этом не вспоминать. В итоге он и не уходит и не перестает вспоминать. Такое ощущение, что он манипулирует мной таким образом. Как быть в данной ситуации, помогите разобраться??