Ребенок не хочет жить в чужом доме

Здравствуйте!Мне 30 лет. С мужем в разводе 2 года, воспитываю сына 5-ти лет.Отец видится с ребенком, по мере своей возможности. Познакомилась с мужчиной и начали совместно жить на его территории. Ребенок гиперактивный и не слушается меня, дома, когда с ним одни можно договорится с ним, не проказничает, а когда находимся дома у дяди или у бабушек "стоит на ушах", вообще не успокоить. Возникли конфликтные ситуации из-за ребенка: не хочет ехать к нему домой, хочет быть у себя дома только со мной или у папы. Не знаю, как быть в этой ситуации, т.к. мужчина в мой дом не хочет переезжать, а сын не хочет ехать к нему. Как сделать так, чтобы всем было хорошо и не навредить психике ребенка?