Как себя вести с молодым человеком?

Помогите, пожалуйсто, разобраться в отношениях с парнем. Мне 35 лет. Не знаю, что делать, что бы не оттолкнуть его еще больше. Он добивался меня 5 месяцев, живем в разных городах. Звонил по 5 раз в день. Он младше меня на 10 лет, но говорил, что это ему все равно. Что я для него, как родственная душа, строил планы о будущем, но конкретно нечего не предлагал. Я ушла от мужа, т.к. изменять не хотела и связалась с Виктором. Виделись редко, сначала было все хорошо. Потом поехали на курорт и там он стал пассивный, безразличный. Потом я приезжала в санаторий на несколько дней недалеко от его места жительства. Перед этим он опять стал звонить, очень радовался, что я приеду к нему. За час до приезда у него возникают срочные дела и он меня даже не встречает. Потом ездили к нему, знакомил меня со своим другом, все было хорошо. Говорит, что ему со мной хорошо, не так как с другими. А звонить почти перестал. Отношения не прекращает. На разговор не идет, говорит работы много занят. Я спрашивала, дело во мне, говорит нет. Спрашивала может мне не звонить, говорит звони, поболтаем. Сказал, что я ему нравлюсь, что искренне ко мне относится, что начал ко мне привыкать, но т.к я на развод не подала, может я еще захочу сохранить семью и вернусь к мужу, а он опять останется один. Год назад он развелся с женой. Очень переживал. Я ему не звоню, не хочу еще больше его оттолкнуть, но и потерять тоже не хочу,он стал для меня очень дорогим человеком. Подскажите, что делать, что бы вызвать его интерес,что бы вернуть. Спасибо.