Мой мужчина скрывает наши отношения

С моим мужчиной познакомились по работе.Вместе уже год.И вроде все серьезно(полгода живем совместно).Разница в возрасте 17 лет.Нам так хорошо вместе,что эта разница не чувствуется.Но последние 2мес. мы стали часто ссориться даже по пустякам.Я знаю,что он общается с бывшей женой, и иной раз я жутко ревную(в смс он ее называет любимой.хотя и меня он тоже вроде любит).Пришлось позвонить ей и сказать что он не один,что у нас с ним семья.Она пожелала удачи.А тут на работе стали догадываться о нас.Я не вижу причины скрывать наши отношения,поскольку мы мелкие сошки в нашей компании.А он категорически против,чтобы все знали.А если меня назовут проституткой, а он не слова не скажет?Что делать и как к этому относиться? И как мне себя вести на работе?Ведь у нас все очень серьезно.