Что делать, если не любишь мужа?

У меня такая проблема, с мужем живем 3 года в браке, все было хорошо, родился ребенок, он не пьет, работа стабильная, все вроде да ни чего, вот только оскорбляет меня постоянно, обижает, что делать, это уже не выносимо. Я встретила на своем пути мужчину, он любит меня, на мужа уже все равно, что делать, хочу уйти, но боюсь не то, что уйти от мужа, а боюсь, что много чего связывает нас общего, да и чужого мнения, как быть?