Стоит ли продолжать отношения?

Здравствуйте! Первый раз в жизни обращаюсь к профессиональному психологу,очень надеюсь на совет.

Мне 38 лет, живем с мужем в браке 4 года (3 года в официальном).Ему 39 лет. При нашем с ним знакомстве он подкупил меня своим отношением ко мне. Я видела, что я ему очень нравлюсь, он был очень внимательным, заботливым. Не богат, простой водитель, но старался не экономить на мне, дарил цветы, было очень приятно, сразу же нашел подход к моим детям. Я не хотела с ним жить, сказала ему как-то, что мы с ним разные, просила уйти, но он остался.Я решила, что всё-таки у нас получиться что-то. После свадьбы он "сел мне на шею", я работаю, он лежит на диване (квартира моя) или катается целый день по городу, очень много времени проводит со своей мамой, она просто "Серый кардинал". Меня стало раздражать всё это, я прошу его устроиться на работу, он нервничает и уходит от разговора, просто уходит из дома и куда-то уезжает (наверно к маме). Уже 4 года просто иждивенец. Хотя со мной добрый и ласковый. Я очень привязываюсь к людям, в последние пол-года прошу его расстаться, так как больше не могу так жить, хотя в душе боюсь, что он уйдет. Иногда срываюсь и просто выгоняю, говорю, что не люблю, чтобы он уходил из моего дома, он не уходит. Он мне никогда не дарил ничего, все расходы в нашей семье лежат на мне (еда, квартплта, даже бензин для его машины), уже не могу так, даже секс у нас 2 раза в месяц, он ничего не хочет (другой женщины нет, я больше чем уверена, я бы поняла). Я хорошо выгляжу, ухаживаю за собой, хорошо одеваюсь, занимаю хорошую должность на большом предприятии. В последнее время когда прошу его о разводе или о том, что не плохо бы ему поработать, стал руки распускать, когда я говорю, что хочу мужчину, который будет "добыдчиком" в семье, а не приживалкой, говорит, что подкараулит меня в подъезде... Когда разговоров о разводе и о работе не завожу, всё хорошо, как только пытаюсь вывести на разговор, начинаются оскорбления в мой адрес, психи, махание руками. Я не знаю, люблю ли я, года два назад казалось, то люблю. Может казалось? Он не пьет, друзей, как таковых, тоже нет, приятели только, вечерами дома, но мне почему-то тяжело и с ним и без него скучаю? Что это?