Как себя вести с бывшей семьей мужа?

Совершенно определенно, что ваш муж чувствует сильную вину за то, что ушел из семьи, а чувство вины - один из самых действенных способов манипуляции. О том, как все это рождается и происходит " в общем виде", вы можете почитать вот тут

http://zerkalodushi.ru/manipulators , думаю, найдете для себя ряд ответов.

Касательно вашей ситуации надо разбираться в массе вопросов, на которые себе ответить должны не только вы, но и ваш муж. От чего он уходил? Он бежал от той ситуации или он уходил к вам? Действительно испытывая к вам серьезные чувства? Если верно последнее, то вам стоит обсудить это открыто, и не стоило ждать для этого пять лет, не обращая внимания. Спросите его, как он видел САМ ситуацию изначально: как будут строиться отношения с вами, какую часть семейного бюждета, времени, сил, душевного ресурса он предполагал тратить на вас и на вашего сына (раз он живет с ним под одной крышей), а какую- на бывшую жену и детей. Постарайтесь не дать ему уйти от разговора. Это ведь не "дергание", а просто спокойное выяснение (и в вашей власти сделать его именно спокойным!) Постарайтесь объяснить ему, что это не ваши придирки и требования, а попытка оценить реальное положение вещей. Думаю, со стороны мужа может последовать та же тактика, которую использует с ним бывшая жена и к которой он привык - манипуляция. Он может начать манипулировать вами, в свою очередь воздействуя на ваше чувство вины - вы должны понимать, что он в  стрессе, что его дергают и т.д. Объясните, что вы понимаете, но хотите прекратить цепочку взаминых манипуляций. И что не чувствуете себя виноватой ровно ни в чем, а просто хотите понять, что вы можете получить в этих отношениях. Для того, чтобы так строить разговор, стоит разобраться и со своим чувством вины или неуверенности. Вы считаете себя достойной любви? А времени, на вас потраченного? А заботы? Если это так - вы можете смело идти в такой разговор и говорить о том, что чувствуете. И что у вас есть ЖЕЛАНИЯ, реализацию которых вы не можете требовать, но и отменять эти желания не намерены, а потому будете так или иначе стараться достигнуть приемлемого для вас уровня внимания, заботы и т.д. Если же вы чувствуете неуверенность или вину, то стоит задуматься, откуда это взялось, в чем конкретно вы не уверены. Дело в том, что наши подсознательные программы порой буквально "материлизуют" человека в нашей жизни, который и оправдывает наши бессознательные ожидания, а они могут быть не всегда позитивными. Условно говоря, если вы сами чувствуете себя виноватой и недостойной лучшего, то риск того, что вам будут постоянно недодавать любви и внимания, достаточно велик. Возможно, вот эта статья

http://zerkalodushi.ru/to-love-or-suffer поможет четче разобраться, как это происходит. В любом случае, говорить надо открыто и не стыдиться своих чувств и желаний. А также стоит сказать мужу, что понимаете его чувства, но видите, что ему тоже стоит разобраться со своим чувством вины, возможно, ему как раз в первую очередь стоило бы прочесть статью про манипуляции. А дальше, у вас, возможно, уже будет почва для разговора.