Нужно ли что-то менять? Когда мы встречаемся, внутри все переворачивается

Здравствуйте! Очень хочется услышать Ваши мнения как мне поступить. Мне 30 лет, ему 45 в жизни у нас все состоялось, у него семья, замечательная жена, дети, у меня прекрасный муж и дети. Познакомились мы 4 года назад, я пришла к нему устраиваться на работу, все шло хорошо, я его устраивала как сотрудник, он меня как работодатель. Но в этом году у него начались проблемы с бизнесом, приложив массу усилий, мы вместе решили все. Но в тот самый момент когда решая проблемы на работе, и проводя много времени вместе, он и посмотрел на меня совсем по другому, ни как на сотрудника, а как на женщину. Я изначально не придавала этому значения, все-таки разница в возрасте (и внешне он меня ни чем ни привлекал). От подарков и ухаживаний я отказывалась, мотивируя, что это не к чему, больше по той причине, что бы только не закрутилось все, так как не хотелось что-либо менять в жизни. Но не знаю когда наступил тот момент, что я сдалась, ничего серьезного не было, но меня безумно к нему тянет, я думаю постоянно. А так как, сейчас видимся мы очень редко, в силу загруженности на работе, мне удается все-таки сдерживать себя. Но когда мы встречаемся, внутри все переворачивается,что-то внутри волнуется не знаю даже как описать свои чувства в этот, момент и у него тоже самое. Сдерживает только то, что я ни разу не заводила роман на стороне и внутренний голос меня предупреждает, что ни чем хорошим это не закончится.И жить я так больше не могу, измучилась уже вся, и его мучаю что делать не знаю?