Корректировка весов - обучение
Если суть обучения нейронной сети сводится к корректировке весов, то возникает вопрос: каким образом происходит эта корректировка, каков механизм этого процесса?
Целью обучения (подстройки весов) является уменьшение разности между желаемыми (целевыми) и получаемыми векторами на выходе.
Канадский физиолог и нейропсихолог Дональд Хебб, предложивший первый работающий алгоритм обучения искусственных нейронных сетей, сформулировал общие правила обучения.
1. Если два нейрона по обе стороны от синапса (соединения) активизируются синхронно, то прочность этого соединения возрастает.
2. Если два нейрона по обе стороны от синапса активизируются асинхронно, то такой синапс ослабляется или вообще отмирает.
Обратите внимание, с точки зрения нейронной сети нет такого понятия как «правильный ответ», есть лишь желаемый ответ. И если разрыв между желаемым и получаемым слишком большой, то происходит корректировка нейронной сети таким образом, чтобы сократить эту дистанцию. При этом корректируется не только получаемый результат, но и желание, судя по всему.
Возникает вопрос: почему тот или иной ответ является желаемым? Какой фактор определяет приоритет этого желания? Как и почему возникает желание?
Согласно правилу Хебба, важнейшее значение при обучении имеет синхронность или асинхронность нейронов. Очевидно, нервный импульс имеет некую внутреннюю электромагнитную характеристику, от которой зависит служит ли она возбуждению или торможению соседних нейронов. Если соседние нейроны чаще действуют в противоположных направлениях, то синапс между ними ослабляется, разрывается. Если же они действуют чаще в одном направлении, синапс между ними укрепляется.
То же самое происходит и в обществе. Люди, которые по различным вопросам имеют одинаковое мнение, становятся ближе друг другу, объединяются в клубы по интересам, занимаются общим делом. Люди, которые всегда расходятся во мнениях по любому вопросу, стараются меньше общаться друг с другом, и связи между ними ослабевают.
Желания могут быть разными, их все перечислить и классифицировать невозможно. Но есть одно общее для всех желание — быть понятыми и принятыми в обществе себе подобных. Неприятие ослабляет связи, приятие — всегда усиливает.
Поэтому корректировка весов в нервной системе происходит согласно этому простому правилу. Тот, кто меня понимает и кого понимаю я — тому больший вес. Тот, кто не согласен со мной и не понятен мне - тому меньший вес.