Как избавиться от этой проблемы?

Владимир, здравствуйте!
Есть много причин, почему того или иного человека могут не принимать в коллективе. К сожалению, когда такое случается, человек теряет уверенность в себе, начинает отгораживаться, чем еще больше усугубляет ситуацию. 
Важно понимать, что у Вас нет необходимости поддерживать одинаково хорошие отношения со всеми коллегами в коллективе. Выберите людей, 1-2-х, которые Вам интересны, к которыми бы Вам хотелось общаться больше всего. Попробуйте наладить более неформальное общение - проявить интерес, предложить свою помощь, рассказать чуть больше о себе, поделиться впечатлениями. 

Также, в своем вопросе Вы пишете: 

по натуре спокойный человек, вроде и плохого ни чего ни кому не делал

В определенных ситуациях такое поведение может расцениваться окружающими как неумение дать отпор и отстоять свои интересы. 
Если у Вы хотите изменить сложившуюся ситуацию, получить необходимую поддержку и научиться выстраивать более комфортные отношения в коллективе, рекомендую Вам обратиться на личный прием к психологу, либо пройти курс групповой терапии в вашем городе. 
С уважением, 

Смирнова Ирина Федоровна, психолог в Минске или по Skype

Владимир,вы пишите:

Владимир

я по натуре спокойный человек

Это ошибочное утверждение с вашей стороны,вернее сказать опасливый и боязливый.Чем и подзадориваете ваших коллег.Они ведь по сути вреда вам не причиняют,так?Просто потешаются,так?А вы и не возражаете,ведь,да?

Ваше жесткое нет данному веселью могло бы прекратить это развлечение коллег,но:

Владимир

я по натуре спокойный человек

Может  все таки пора от убеждения:

Владимир

С Собой ничего не могу поделать

Перейти к активному изменению жизненной позиции.Для начала хотя бы проясните у своих коллег,что именно в вашем поведении так их забавляет,а еще лучше повеселитесь вместе с ними.

Елена Пальчикова,психолог,кинезиолог,коуч детей и подростков Краснодар