Batchsize: китайский перевод — размер партии (размер партии).

Проще говоря, размер пакета будет определять количество образцов, которые мы обучаем одновременно.

Batch_size повлияет на степень оптимизации и скорость модели.

Зачем вам нужен Batch_Size:

Правильный выбор размера пакета заключается в нахождении наилучшего баланса между эффективностью использования памяти и ее объемом.

Значение Batch_Size:

Полная партия (синяя)

еслиНабор данных относительно небольшойМы будем использовать вседанныенабор。Полныйданныенабор Определенное направление лучше представляет совокупность выборки.,Таким образом точнее направляемся в сторону экстремального значения.

Примечание. Для больших наборов данных мы не можем использовать полный пакет, поскольку получим худшие результаты.

мини-пакет (зеленый)

Выберите умеренное значение Batch_Size. То есть после того, как мы выберем размер партии, мы введем данные в сеть глубокого обучения в соответствии с размером партии, а затем рассчитаем среднюю потерю всех образцов в этой партии, то есть функция стоимости является средней всех образцов.

Случайный (batch_size равен 1) (красный)

Каждое направление коррекции корректируется в соответствии с направлением градиента соответствующего образца, и добиться сходимости сложно.

Преимущества соответствующего увеличения размера пакета:

1. Улучшение использования памяти за счет распараллеливания.

2. Уменьшается количество итераций в одной эпохе и увеличивается скорость работы. (Одна эпоха = (все обучающие выборки/размер пакета)/итерация = 1)

3. Соответствующим образом увеличьте Batch_Size, точность направления градиентного спуска увеличится, а амплитуда тренировочной вибрации уменьшится. (Вы можете узнать, посмотрев на картинку выше)

Краткое описание опыта:

По сравнению с обычным набором данных, если Batch_Size слишком мал, обучающим данным будет очень трудно сходиться, что приведет к недостаточному подбору.

Увеличение Batch_Size ускорит относительную скорость обработки.

Увеличение Batch_Size увеличивает требуемый объем памяти (для достижения наилучших результатов необходимо увеличить количество эпох).

Здесь мы обнаруживаем две вышеупомянутые противоречивые проблемы, потому что увеличение эпохи также приведет к увеличению затрат времени и уменьшению скорости. Поэтому нам нужно найти лучший пакетный_размер.

повторять：Правильный выбор размера пакета заключается в нахождении наилучшего баланса между эффективностью использования памяти и ее объемом.

Итерация: китайский перевод — это итерация.

Итерацияповторитьобратная связьдействие,нейронная В сети мы надеемся выполнить несколько итераций обучения для достижения желаемой цели или результата.

Результат каждой итерации будет использоваться в качестве начального значения следующей итерации.

Одна итерация = один прямой проход + один обратный проход.

Эпоха: Китайский перевод — это точка.

Одна эпоха = один проход вперед и один проход назад для всех обучающих выборок.