Муж хочет переехать, а я из-за этого готова развестись

Здравствуйте! Попробую подробно описать ситуацию. Мы в браке 2 года, до этого жили вместе 2 года. Учились вместе в институте, после окончания учебы стали думать где жить, я очень хотела уехать на юг, потому что у меня аллергия на холод и каждую зиму я всю жизнь очень мучаюсь. Но будущий муж тогда был осень против этой затеи, то что далеко от родни и страшно, решили жить в моем родном городе. Женились, взяли квартиру в ипотеку, родилась дочь. Все это время он пытался устроиться на работу в мчс, там долго сдавал мед осмотр и в итоге его не взяли. Он психанул, сказал, что у нас не город, а загнивающее дно и уехал жить ко своим родителям в 200 км от нас. Нам высылал Деньги, работал продавцом там. Потом он нашёл работу опять в другом городе вообще, в Перми, и там снимает жильё, нам деньги высылает. Теперь все время звонит и говорит, что вот продадим через несколько лет квартиру (когда ипотеку выплатим) и чтобы я с ребёнком переезжала туда к нему. Я считаю это тупостью, он постоянно нас оставляет, я одна воспитываю ребёнка и из-за нервов и меня появились серьезные проблемы со здоровьем. Я говорю, возвращайся к нам , живи с нами и все будет хорошо. Но он только ставит условие ехать туда к нему и жить с ним там, а иначе он там будет жить один. Развод не даёт из-за того, что квартиру придётся делить. Многие мне советуют реально переезжать к нему, особенно его родители, все считают меня плохой, что я как жена декабриста за ним не бегу. А у меня в голове холодный растёт ( ну продам квартиру тут, к нему уеду, а вдруг он там меня кинет!), вы тоже считаете меня стервой, как все говорят ? Я каждый день реву и хочу полную семью.