Сверточная нейронная сеть (CNN) — это модель глубокого обучения, добившаяся больших успехов в области компьютерного зрения. Их дизайн вдохновлен зрительными системами в биологии и направлен на имитацию того, как люди обрабатывают зрение. За последние несколько лет CNN добилась значительного прогресса в распознавании изображений, обнаружении объектов, генерации изображений и во многих других областях, став важной частью исследований в области компьютерного зрения и глубокого обучения.

1. Принцип изображения

Прежде чем разобраться в сверточной нейронной сети, давайте сначала посмотрим на принцип работы изображений:

Изображение на компьютере представляет собой набор чисел, расположенных последовательно в диапазоне от 0 до 255. 0 представляет собой самый темный цвет, а 255 — самый яркий. Как показано ниже:

Изображение выше представляет собой изображение в оттенках серого, содержащее только черный и белый цвета, а более распространенным способом выражения изображений является цветовая модель RGB, то есть три основных цвета: красный, зеленый и синий добавляются в разных пропорциях для получения изображения. разнообразие цветов. В цветовой модели RGB одна матрица разлагается на три упорядоченно расположенные матрицы, которые также можно понимать как трехмерный тензор.

Каждую из этих матриц также называют каналом этого изображения, описываемым шириной, высотой и глубиной.

2. Зачем изучать сверточные нейронные сети?

В традиционной нейронной сети, когда мы хотим распознать изображение в красном поле на рисунке ниже, мы не сможем его распознать, потому что положения этих шести изображений неразумны, и компьютер не может сказать, что они на самом деле форма или предмет.

Принцип традиционной нейронной сети заключается в следующем:

Мы надеемся, что объект будет распознан как один и тот же объект независимо от того, находится ли он в левой или правой части экрана. Эта особенность — инвариантность. Чтобы добиться трансляционной инвариантности, модели глубокого обучения, такие как сверточные нейронные сети (CNN), используют операции свертки на слое свертки, которые могут фиксировать локальные элементы изображения независимо от их положения.

3. Что такое свертка?

В сверточной нейронной сети операция свертки относится к операции умножения небольшого подвижного окна (называемого окном данных, как показано зеленым прямоугольником на рисунке ниже) с изображением элемент за элементом, а затем его сложение. Это небольшое окно на самом деле представляет собой набор фиксированных весов, которые можно рассматривать как определенный фильтр или ядро ​​свертки. Название этой операции «свертка» происходит от процесса поэлементного умножения и суммирования. Именно благодаря этой операции сверточная нейронная сеть получила свое название.

Маленькое зеленое окошко на рисунке выше — это окно данных. Короче говоря, операция свертки использует небольшое подвижное окно для извлечения функций изображения. Это маленькое окно содержит определенный набор весов. Выполняя операции свертки с разными положениями изображения, сеть может изучать и собирать информацию о различных характеристиках. Текстовое объяснение может быть слишком сложным для понимания, поэтому вот анимация:

Синий прямоугольник на этом изображении относится к окну данных, красный прямоугольник — к ядру свертки (фильтру), а последний зеленый квадрат — к результату свертки (данные в окне данных и ядре свертки перемножаются элемент за элементом). а потом суммируем )

На рисунке показан процесс расчета свертки.

На какие проблемы нам нужно обратить внимание при свертке?

a. Размер шага: размер шага положения каждого скольжения.

б. Количество ядер свертки: определяет глубину толщины вывода. В то же время оно представляет количество ядер свертки.

c. Заполнение нулями: добавьте несколько кружков нулей на внешнем крае, чтобы начальную позицию можно было поэтапно перемещать в конечное положение. С точки зрения непрофессионала, это означает, что общая длина делится на размер шага.

Если взять приведенную выше картинку в качестве примера, то:

• Окно данных каждый раз перемещается на два шага, чтобы получить локальные данные 3*3, то есть шаг=2.

• Два нейрона, глубина = 2, означает, что имеется два фильтра.

• zero-padding=1 。

Зачем необходимо заполнение данных:

Предположим, что имеется входное изображение размером 4x4:

[[1, 2, 3, 4],

[5, 6, 7, 8],

[9, 10, 11, 12],

[13, 14, 15, 16]]

Теперь мы собираемся применить ядро ​​свертки 3x3 с шагом 1 и заполнением 1. Без заполнения центр ядра свертки не будет выровнен по краю входного изображения, что приведет к меньшему размеру выходной карты объектов. Предполагая, что мы используем шаг 1 для свертки, размер выходной карты объектов будет 2x2 без заполнения.

Итак, мы собираемся дополнить его кольцом нулей, а заполнение 1 означает добавление кольца нулей вокруг входного изображения. Добавить дополненное изображение:

[[0, 0, 0, 0, 0, 0],

[0, 1, 2, 3, 4, 0],

[0, 5, 6, 7, 8, 0],

[0, 9, 10, 11, 12, 0],

[0, 13, 14, 15, 16, 0],

[0, 0, 0, 0, 0, 0]]

Теперь мы применяем ядро ​​свертки 3x3 к этому дополненному входному изображению, вычисляем результат свертки и получаем карту объектов постоянного размера.

Основная цель заполнения данных — гарантировать, что ядро ​​свертки может покрыть краевую область входного изображения, сохраняя при этом размер выходной карты объектов. Это очень важно для сохранения пространственной информации и эффективной обработки информации о краях изображения в CNN.

Как выглядит модель сверточной нейронной сети?

Часть, заключенную в красную рамку выше, можно понимать как фильтр, то есть набор нейронов с фиксированными весами. Наложение нескольких фильтров образует сверточный слой.

4. Построение сверточной нейронной сети.

1 входной слой

Входной слой получает необработанные данные изображения. Изображение обычно состоит из трех цветовых каналов (красного, зеленого, синего), образующих двумерную матрицу, представляющую значения интенсивности пикселей.

2 Свертка и активация

Сверточный слой свертывает входное изображение с помощью ядра свертки. Затем нелинейность вводится путем применения функций активации, таких как ReLU. Этот шаг позволяет сети изучить сложные функции.

3 слоя пула

Объединение слоев снижает сложность вычислений за счет уменьшения размера карт объектов. Это делается путем выбора максимального или среднего значения в окне объединения. Это помогает извлечь наиболее важные функции.

4-х многослойная укладка

CNN обычно состоят из стеков нескольких слоев свертки и объединения для постепенного извлечения функций более высокого уровня. Глубокие функции могут представлять собой более сложные закономерности.

5 полных подключений и выходов

Наконец, полностью связный слой преобразует извлеченные карты объектов в конечный результат работы сети. Это может быть метка классификации, значение регрессии или результат другой задачи.

Процесс изображения следующий:

расширенная форма

еще нетрасширенная форма

5. Как выглядит картинка после свертки

Подобно тому, как человеческий глаз видит вещи, сверточные нейронные сети могут видеть контуры вещей.