Зависимость от чужого мнения, неумение отказать

Здравствуйте! У меня проблема такая. я человек скромный, добрый и в какой-то степени безотказный для знакомых и коллектива, всегда помогаю и тд. даже предлагаю помощь самостоятельно. делаю я это, чтобы отношения между людьми с которыми я общаюсь были лучше и крепче, чтобы быть друзьями настоящими. Но

Фраза (относись к другим так, как ты хочешь, чтобы они относились к тебе) не работает. Есть люди, кто начинает этим пользоваться, а сами по их отношению ко мне будто это не ценят, хотя хорошего было сделано много. Я понимаю, что изначально не стоило так себя выставлять (раз они это не ценят, но за ранее было не ясно, как будет) и я знаю, что нужно уметь сказать «нет». Но у меня в какой-то степени зависимость от мнения других, я не хочу обижать других людей отказом и чтобы было незаслуженное ко мне отношение (типа отказ получили значит, тот человек плохой раз отказал) и суть в том, что раньше отказов не было и если начнутся, то скажут (вот раньше было так, а теперь мол он стал отказывать, типа человек испортился и возможно подумают, что делал это не искренне, а по корысти)как быть?