Моему сыну 6 лет, я не могу найти с ним общего языка

Здравствуйте! Мне 31 год. замужем. У нас 2е детей, старшему сыну 6 лет, дочери 3 года. Когда сыну было 1,5 года, мы с мужем уехали на заработки в др.город, сын остался у моей мамы ( бабушки). Когда я забеременела дочкой вернулась домой. Родила. Пришло время переезжать от мамы в свою квартиру, но сын закапризничал. Решили на время пока дочка маленькая оставить ещё на время с бабушкой. Прошло время и ребёнок всё больше стал отказываться жить с нами( родителями). Сейчас ему 6 лет и он до сих пор живёт с бабушкой. Я не могу найти общего языка с сыном.При любом контакте он не слушается, дерзит, когда задаю ему вопрос не отвечает, убегает. Когда бабушки нет рядом, это совсем другой ребёнок. Он послушный, покладистый. Такое впечатление, что сын меня ненавидит, не слышит. Посоветуйте, как мне решить эту проблему. Хочу забрать сына к себе, как более мягко, не травмируя ребёнка это сделать?