Дружба в школе, как реагировать на жалобы и влиять на выбор друзей ребенка

Сын учится в 1 классе, учится хорошо, но без особого старания. Ребенок поздний и единственный, семья полная. Сдружился в классе с мальчиками, которых условно учитель и Родительский комитет отнесли к "плохишам". Эти мальчики и правда могут и обозвать, в.т.ч матом, и в драках участвовали, при чем серьезных с удушением (вовремя разняли) и прочее... Сын в таких ситуациях всегда оказывается рядом с ними (участвует пассивно - смеется, иногда их отговаривает, пытается остановить).

Ну в общем периодически поступают жалобы на моего сына, в основном от родителей, которые не разобравшись в ситуации просто называют имена этих мальшек, т.к. поставили на них "клеймо". Сам он понимает, что поступки его друзей плохие и осуждает, но тем не менее как завороженный всегда на это смотрит и не уходит в сторону.

На мои предложения переключить свое внимание на других - отказывается, т.к. с этими интереснее, веселее и по пути домой. Забирать его со школы возможности нет, часто задерживается после уроков и играет с ними на улице.

Возможно я зря так переживаю, но считаю, что моего сына незаслуженно "занесли" в этот черный список и ему приходится отвечать за несовершенные поступки (при чем учитель ему не верит, что он в этом не учавствовал). У нас с сыном доверительные отношения, он со мной всем делится.

Как мне реагировать на подобные жалобы на моего сына и такую его дружбу?