Отношения с парнем и его мамой

В феврале я познакомилась с парнем. у меня сын от предыдущего брака, у него дочь. Он до сих пор в браке, его жена находится в тюрьме и не разводится, потому что боится, что суд отдаст ребенка матери. Дочь с возраста 1 год воспитывает его мама. Он познакомил меня с семьей и мы планировали жить вместе. Но теперь я вижу,что наши планы постоянно откладываются. и там манипуляции идут со стороны бабушки. Мне кажется она его не хочет от себя отпускать. Забрать его дочь к нам, она не хочет уходить от бабушки, когда он уезжает ко мне они обе его ревнуют. Подскажите как мне себя вести и что делать?