Как воспитывать сына в сложившейся ситуации?

Здравствуйте, мне 35 лет, 3 года назад я развелась с мужем, у меня есть сын, которому скоро будет 5 лет. У меня периодически возникают проблемы с ребёнком. Дело в том, что он у меня родился с гипоксией, я лечила его с 2недельного возраста. Но дело не в этом, помимо этого у нас проблемы и психологического характера. Я сама к нему стараюсь быть очень внимательной, так как он растёт без отца в доме, но часто вижу в нём чрезмерное упрямство, непослушание. Меня часто упрекают окружающие, что я с ним слишком мягкая. Однако когда я начинаю быть с ним строже, я получаю обратную реакцию, он злится, появляется агрессия, я начинаю кричать, он плачет и просит всегда брать его на руки (хоть и не маленький уже), а затем я начинаю есть себя, переживать и испытывать чувство вины перед ним. И никак не могу найти выход из сложившейся ситуации. А ещё у него есть привычка рассказывать какой-то случай почти каждый день в деталях и чтобы его слушали при этом, не отвлекаясь. Пожалуйста посоветуйте. Заранее благодарю.