Как избежать распространения слухов?

Здравствуйте. Подскажите пожалуйста, как мне быть?Ситуация довольно нелепая, но влекущая за собой необратимые последствия. У меня семья, муж, дети. Я вполне довольна своей семейной бытностью, но не смотря на это, меня потянуло на романтику. Ко мне на работе стал приходить сотрудник с параллельной организации. Закрутился небольшой роман. Я не могу сказать что он меня обманывал, пытался просто добиться близости, нет. Напротив, он был согласен на отношения без секса. Прошло не много времени, я ухала в отпуск. Мы с ним переписывались. Но я почувствовала что он охладел ко мне. И тут стала проявлятся его сущность. Он стал задавать вопросы типа НЕ БОЮСЬ ЛИ Я ЧТО ЕСЛИ НЕ БУДЕТ СЕКСА, ТО ВСЕ НАШИ ОТНОШЕНИЯ СОЙДУТ НА НЕТ. Я тогда расстроилась, перестала с ним общаться. Но прошло время и он попросил прощения, сказал что это всеголишь вопрос, что ему было интересно мое мнение. С того дня я решила быть с ним осторожнее и попыталась нащупать как же он действительно ко мне относится. Потом он как-то сказал что его сотрудник общему нашему знакомому сказал буд-то у него со мной роман. Теперь же когда я порвала с ним отношения (а сделала я это очень жестко- я его продинамила на секс), он узнал что я спрашивала о нем у другого человека(у того, который сказал что якобы у нас роман). Он решил что я его *слила*, и грозится теперь на лево и направо болтать что у него со мной что-то было. Все осложняется тем, что и мой муж, который еще пока ни о чем не знает, работает в той же организации. И как мне быть? Как пресечь попытки его мести в распространении обо мне слухов. Ведь я ничего преступного не сделала, просто поговорила со знакомым и упомянула в разговоре имя моего несостоявшегося любовника. Помогите пожалуйста!!!!