Не могу найти общий язык с мужем

Живу в гражданском браке почти 2 года. Муж был в разводе с 1 женой. Я вдова с 2-мя детьми. Первое время бывшая не давала покоя и частые ссоры были по этой причине. Сейчас вроде бы бывшая успокоилась, но все равно нет взаимопонимания. Муж постоянно вспоминает про мое прошлое, что наводит опять же на ссоры. Я считаю, что если мы живем, то не должны вспоминать про то, что было до нашей совместной жизни. Он говорит, что любит и в то же время может и обозвать и сказать что-нибудь обидное, зная, что я буду злиться. А потом говорит, зачем я злюсь, ведь он пошутил. Как быть? Подскажите, пожалуйста, как мне вести себя и что делать. Спасибо заранее.