Муж упрекает в прошлых отношениях

Здравствуйте! У меня возникли проблемы с мужем по поводу прошлой моей жизни!!! В браке мы 4 года, вместе 6 лет, ребенку полтора года. Всё это время не было особо никаких серьёзных проблем по поводу отношений до мужа!У меня были отношения с женатым мужчиной, я рассказала мужу об этом, как только мы стали встречаться! Уже неделю он не даёт мне покоя, постоянно напоминает об этом, говорит это его мучает! Что он все шесть лет это держал в себе, а теперь уже не может и его чаша терпения переполнилась и он не может больше молчать!!!! Изводит целыми днями, перестал обнимать, старается не смотреть на меня,избегает меня, обижается на всё подряд,молчит.Хочет узнать подробности интимных отношений с этим человеком. Но при этом говорит, что любит и не собирается расставаться!!! На все мои разговоры муж говорит, что я должна ему помочь это забыть, а как он не знает и за шесть лет, так и не придумал как это забыть!!!! Перед тем, как муж начал меня доставать этим всем, у нас получился большой скандал и он меня побил сильно( это было первый раз в жизни). Что мне делать, как быть? Помогите!!!