Отношения с мужем и его взрослыми детьми

Живем с мужчиной 5 лет ,не расписаны( он не хочет),детей совместных нет,жена его умерла, его дети взрослые сын и дочь имеют свои семьи .Конечно держу дистанцию с ними ,стараюсь не конфликтовать, бывали недопонимания.Стараюсь вести себя цивилизованно.Особенно болезненно реагирует его сын на наши его отцом взаимоотношения. У него ещё есть ребёнок маленький 7 лет на стороне,когда с ним сходились он мне сообщил что не хочет и не будет жить с матерью ребёнка,но к ребёнку привязан ,часто общаются по телефону (ребёнок и мать живут в другом городе)я не против ,мы виделись с этим ребёнком и познакомились ,его мама со мной знакомиться категорически не стала.Мы с ним живем очень хорошо .Финансово я от него не завишу ,работаю и получаю пенсию.Он пенсионер.Его тяготит бездействие и он решил организовать бизнес в другом городе и теперь хочет жить там,а мне не комфортно так,у меня есть еще родители старенькие ,я не смогу их оставить,да и обосноваться мне в другом городе будет сложно т к другое государство нужен паспорт как то так рушится все в моем представлении если уеду с ним ,сложно будет с работой да и с остальным не понятно