Градиентный спуск: как обучаются нейронные сети

О чём лекция

На примере распознавания рукописных цифр показано устройство нейросети: 784 входа соответствуют пикселям изображения, а выходной слой из 10 нейронов выбирает цифру. Работа сети зависит от весов и смещений. Во время обучения их настраивают по размеченным изображениям, а качество проверяют на данных, которых сеть не видела.

Чтобы измерять ошибки, задают функцию стоимости: она сравнивает выход сети с правильным ответом и усредняет отклонения по обучающим примерам. Обучение сводится к поиску значений параметров, при которых эта стоимость уменьшается. Градиент показывает направление наиболее быстрого роста функции, поэтому шаг в противоположном направлении снижает стоимость. Повторяя такие шаги, алгоритм градиентного спуска приближается к локальному минимуму; величины компонентов градиента также указывают, какие параметры сильнее влияют на результат. Эффективное вычисление градиента выполняет обратное распространение ошибки.

Простая сеть из лекции правильно классифицирует около 96% новых изображений, а изменение структуры повышает результат примерно до 98%. Однако её скрытые слои не обязательно выделяют ожидаемые человеком края и формы: успешная классификация сама по себе не гарантирует такого представления. Сеть может уверенно ошибаться на случайном шуме, а эксперименты с перемешанными метками показывают, что сложные модели способны запоминать обучающие данные. При этом структурированные данные позволяют быстрее находить хорошее решение, чем случайные метки.

Ключевые идеи

• 0:35Изображение цифры задаётся значениями 784 пикселей, а выход сети выбирает один из десяти классов.
• 1:50При обучении веса и смещения настраиваются по размеченным примерам, а обобщение проверяется на новых изображениях.
• 3:36Функция стоимости измеряет расхождение между предсказанием сети и правильным ответом.
• 5:49Градиентный спуск многократно меняет параметры в направлении уменьшения функции стоимости.
• 9:27Обратное распространение ошибки позволяет эффективно вычислять градиент, необходимый для обновления параметров.
• 10:36Компоненты градиента показывают направление изменения каждого параметра и его относительное влияние на стоимость.
• 13:08Простая сеть достигает высокой точности на новых цифрах, но скрытые слои не обязательно выделяют ожидаемые закономерности.
• 18:02Эксперименты с перемешанными метками показывают, что нейросети могут запоминать обучающие данные, а не только усваивать структуру.

Примеры вопросов

Свой тест по любой лекции

Вставьте ссылку на видео — LearnReplay сделает тест на понимание.