Манипуляции мужа

Здравствуйте! Подскажите как вести себя в подобных ситуациях с мужем. Мне 32 года, работаю. В браке с мужем второй раз, у меня есть ребенок от первого брака и у него тоже дети от первого брака и наш совместный ребёнок, все дети живут с нами. Приняли друг друга с детьми когда сошлись. В браке 5 лет. И иногда он начинает мне припоминать бывшие отношения, особенно когда я иногда ему отказываю в близости или когда немного выпьет. Говорит вот, тебе же там было значит лучше, поэтому ты мне и отказываешься, или например, видимо у тебя там была бурная интимная жизнь, что ты уже нахлебалась этого и тебе теперь не хочется... И всё в этом роде. А у меня просто темперамент такой, я конечно, не фригидна, но мне просто физически не надо часто интима, а ему наоборот...

Меня вообще раздражает когда он начинает, мне припоминать мои прошлые отношения, и вообще создаëтся впечатление, что это я виновата, что он у меня не первый. (Раньше, до первого брака мы были с ним знакомы и дружили в юности, но расстались, ещё по глупости тогда детской). Вот он меня теперь, вроде в открытую не упрекает, но вот как то говорит, что я же у тебя не первый и тп. Все воспоминания прошлого начинаются с него, я первая никогда не вспоминаю прошлого и не начинаю в нëм копаться. И касаемо его прошлого не говорю, так как мне это не важно вообще. Мне это вообще неприятно и не хочется вспоминать, ему уже говорила об этом, а он мне ну вот нечего не могу поделать с собой, воспоминания сами лезут в голову и всё. Иногда может гадостей даже сказать. Помогите, пожалуйста, как вести себя в такой ситуации. Понимаю, что он мной манипулирует. Мужа своего люблю, у него и есть хорошие качества, в некоторых поступках вижу, что он тоже любит меня. Но вот эти манипуляции меня выводят из себя. Спасибо за помощь!