Очень раздражает муж, из-за каждого пустяка

Мне 26 лет. В браке с мужем 2 года. У нас 4-х месячный ребенок. Муж раздражает из-за каждой мелочи. Мы не находим общий язык. Последнее время в порыве злости могу оскорбить,часто не сдерживаю гнев, о чем потом жалею. Все чаще посещают мысли о разводе, но он не хочет. Из-за наших ссор ребенок стал плохо спать, плачет. Сегодня чуть не подрались! Подскажите как решить проблему? Я предлагала ему сходить вместе к психологу -он только посмеялся над этим. Одна пойти не могу, ребенка не с кем оставить. Все родственники и друзья живут очень далеко, в этом городе у меня почти нет знакомых. Может это от отсутствия общения, он постоянно на работе, я одна с ребенком, поговорить даже не с кем.