Обучение сети глубокого обучения, решение проблемы Нэн в растерянности
Обучение сети глубокого обучения, решение проблемы Нэн в растерянности
Каталог статей

Предисловие

1. Причины

2. Типичные примеры

1. Градиентный взрыв

2. Неправильная функция потерь.

3. Неправильный ввод


Предисловие

Обучение модели — это не просто корректировка параметров. Важно уметь находить правильные решения различных возникающих проблем. В этой статье проводится подробный анализ причин, по которым появляется потеря обучающей сети, Нэн, и представлены подробные решения, я надеюсь, что она будет полезна всем при обучении модели.


1. Причины

Вообще говоря, NaN возникает в следующих ситуациях:

  1. Если NaN появляется в течение 100 раундов итераций, общая причина заключается в том, что ваша скорость обучения слишком высока и вам необходимо снизить скорость обучения. Скорость обучения можно непрерывно снижать до тех пор, пока NaN не появится. Вообще говоря, она может быть в 1–10 раз ниже существующей скорости обучения.
  2. Если текущая сеть представляет собой рекуррентную нейронную сеть, подобную RNN, может появиться NaN, поскольку градиентный причиной взрыва, эффективным способом является увеличение «градиента отсечение» (усечение градиента для решения).
  3. Возможно, 0 используется в качестве делителя.
  4. В качестве натурального логарифма можно использовать 0 или отрицательное число.
  5. Массив, который необходимо вычислить на предмет потерь, находится за пределами границ (особенно если вы сами определяете новую сеть, такое может случиться).
  6. В некоторых случаях, связанных с экспоненциальными вычислениями, окончательное расчетное значение может быть INF (бесконечность) (например, числитель и знаменатель softmax без другой обработки должны вычислять ex(x), а значение слишком велико, и окончательное значение может быть INF/INF, что приведет к NaN. В этом случае вы должны убедиться, что используемый вами softmax выполнил соответствующую обработку (например, вычитание максимального значения и т. д.) при вычислении exp(x).
  7. При тренировке глубины сети,Проблема отсутствия меток также приведет к тому, что потери всегда будут nan.,Нужно проверить этикетку.

2. Типичные примеры

1. Градиентный взрыв

причина:Градиент становится очень большим,Затруднение продолжения процесса обучения.

Феномен:наблюдатьlog,Обратите внимание на потери после каждой итерации. С каждой итерацией потери становятся все больше и больше.,Наконец-то превышен диапазон представления с плавающей запятой,Оно становится NaN.

мера:

  • Уменьшите base_lr в Solver.prototxt хотя бы на порядок. Если имеется несколько потерь слое, вам нужно выяснить, какие потери вызвал градиентный взрыв,И уменьшите loss_weight этого слоя в train_val.prototxt.,Вместо уменьшения общего значения base_lr.
  • Установите градиент клипа, чтобы ограничить слишком большие различия.
2. Неправильная функция потерь.

причина:Иногда слой потерьlossРасчет может привести кNaNвнешний вид。например,Ввод ненормализованных значений в слой InfogainLoss (потери энтропии информации),Используйте собственные слои потерь с ошибками и многим другим.

Феномен:в результате наблюдательной тренировкиlogНа первый взгляд исключений не видно,Потери также постепенно уменьшаются,Но внезапно появляется NaN.

мера:Посмотрите, сможете ли вы воспроизвести ошибку,в убытке Добавьте выходные данные в слой для отладки.

3. Неправильный ввод

причина:Входные данные содержатNaN。

Феномен:Всякий раз, когда я сталкиваюсь с этим неправильным вводом в процессе обучения,станет NaN. Возможно, вы не сможете обнаружить какие-либо отклонения при просмотре журнала.,потери постепенно уменьшаются,Но внезапно оно становится NaN.

мера:Измените свой набор данных,Убедитесь, что в обучающем наборе и наборе проверки нет поврежденных изображений. Во время отладки вы можете использовать простую сеть для чтения входного слоя.,Есть потеря по умолчанию,и пройти через все входные данные,Если есть неправильные входные данные,Этот слой по умолчанию также создает NaN.

ссылка:https://zhuanlan.zhihu.com/p/599887666

boy illustration
Углубленный анализ переполнения памяти CUDA: OutOfMemoryError: CUDA не хватает памяти. Попыталась выделить 3,21 Ги Б (GPU 0; всего 8,00 Ги Б).
boy illustration
[Решено] ошибка установки conda. Среда решения: не удалось выполнить первоначальное зависание. Повторная попытка с помощью файла (графическое руководство).
boy illustration
Прочитайте нейросетевую модель Трансформера в одной статье
boy illustration
.ART Теплые зимние предложения уже открыты
boy illustration
Сравнительная таблица описания кодов ошибок Amap
boy illustration
Уведомление о последних правилах Points Mall в декабре 2022 года.
boy illustration
Даже новички могут быстро приступить к работе с легким сервером приложений.
boy illustration
Взгляд на RSAC 2024|Защита конфиденциальности в эпоху больших моделей
boy illustration
Вы используете ИИ каждый день и до сих пор не знаете, как ИИ дает обратную связь? Одна статья для понимания реализации в коде Python общих функций потерь генеративных моделей + анализ принципов расчета.
boy illustration
Используйте (внутренний) почтовый ящик для образовательных учреждений, чтобы использовать Microsoft Family Bucket (1T дискового пространства на одном диске и версию Office 365 для образовательных учреждений)
boy illustration
Руководство по началу работы с оперативным проектом (7) Практическое сочетание оперативного письма — оперативного письма на основе интеллектуальной системы вопросов и ответов службы поддержки клиентов
boy illustration
[docker] Версия сервера «Чтение 3» — создайте свою собственную программу чтения веб-текста
boy illustration
Обзор Cloud-init и этапы создания в рамках PVE
boy illustration
Корпоративные пользователи используют пакет регистрационных ресурсов для регистрации ICP для веб-сайта и активации оплаты WeChat H5 (с кодом платежного узла версии API V3)
boy illustration
Подробное объяснение таких показателей производительности с высоким уровнем параллелизма, как QPS, TPS, RT и пропускная способность.
boy illustration
Удачи в конкурсе Python Essay Challenge, станьте первым, кто испытает новую функцию сообщества [Запускать блоки кода онлайн] и выиграйте множество изысканных подарков!
boy illustration
[Техническая посадка травы] Кровавая рвота и отделка позволяют вам необычным образом ощипывать гусиные перья! Не распространяйте информацию! ! !
boy illustration
[Официальное ограниченное по времени мероприятие] Сейчас ноябрь, напишите и получите приз
boy illustration
Прочтите это в одной статье: Учебник для няни по созданию сервера Huanshou Parlu на базе CVM-сервера.
boy illustration
Cloud Native | Что такое CRD (настраиваемые определения ресурсов) в K8s?
boy illustration
Как использовать Cloudflare CDN для настройки узла (CF самостоятельно выбирает IP) Гонконг, Китай/Азия узел/сводка и рекомендации внутреннего высокоскоростного IP-сегмента
boy illustration
Дополнительные правила вознаграждения амбассадоров акции в марте 2023 г.
boy illustration
Можно ли открыть частный сервер Phantom Beast Palu одним щелчком мыши? Супер простой урок для начинающих! (Прилагается метод обновления сервера)
boy illustration
[Играйте с Phantom Beast Palu] Обновите игровой сервер Phantom Beast Pallu одним щелчком мыши
boy illustration
Maotouhu делится: последний доступный внутри страны адрес склада исходного образа Docker 2024 года (обновлено 1 декабря)
boy illustration
Кодирование Base64 в MultipartFile
boy illustration
5 точек расширения SpringBoot, супер практично!
boy illustration
Глубокое понимание сопоставления индексов Elasticsearch.
boy illustration
15 рекомендуемых платформ разработки с нулевым кодом корпоративного уровня. Всегда найдется та, которая вам понравится.
boy illustration
Аннотация EasyExcel позволяет экспортировать с сохранением двух десятичных знаков.