Почему меня не воспринимают как нового начальника?

Мне 24 года, проработал на предприятии почти год, меня неофициально несколько раз на непродолжительный срок назначали в качестве мастера производства(в подчинении около 40-50 человек), после проведения наряда на работы все меня вроде бы понимают, но стоит начать работу начинаются постоянные уходы с рабочего места с отговорками "мы на перекур" и прочее, начинаешь за всеми бегать по всему цеху чтобы никто не сидел и не ходил на перекуры каждые десять минут, но стоит кого-то вернуть на рабочее место как кого-то уже опять нужно искать. Постоянные разговоры на рабочем месте рабочих вместо выполнения работ, после моего замечания все притихают, но стоит мне отойти и все продолжается опять! Еще заметил , что мои бывшие напарники с которыми как я считаю у нас были не то что хорошие отношения на работе , но можно сказать и дружба, теперь меня так же не хотят воспринимать как начальника, при этом подшучивают надо мной за моей спиной. Все это как я считаю влияет на мое дальнейшее продвижение по карьерной лестнице(т.е. в данном случае назначения меня на должность мастера производства)т.к. вышестоящее начальство спрашивает меня : " тебя что никто не слушается?"! Как я могу повлиять на дисциплину в сложившейся ситуации и заставить подчиненных выполнять свои обязанности?