представлять

В разработке технологий автономного вождения решающую роль играет модуль визуального восприятия. Платформа автономного вождения Apollo от Baidu стремится использовать передовые технологии визуального восприятия для достижения точного восприятия и понимания окружающей среды транспортными средствами, тем самым обеспечивая безопасное и эффективное автономное вождение. Эта статья познакомит вас с основными принципами, техническими характеристиками и применением модуля визуального восприятия автономного вождения Baidu Apollo в автономном вождении.

1. Знакомство с модулем визуального восприятия

Являясь одним из наиболее важных датчиков в системе беспилотных транспортных средств, камера играет незаменимую роль в обнаружении препятствий и светофоров благодаря своей богатой информации и большому расстоянию наблюдения. Это важное дополнение к результатам восприятия лидара.

Однако камеры имеют такие недостатки, как легкое воздействие окружающей среды и отсутствие информации о глубине, что создает огромные проблемы для алгоритма визуального восприятия в беспилотных системах вождения. Поэтому создание набора высокоточных и высокостабильных алгоритмов зрительного восприятия является основной проблемой модуля восприятия автономного транспортного средства. Алгоритм визуального восприятия имеет три основных сценария применения на платформе Apollo, а именно: обнаружение светофора, обнаружение линии полосы движения и обнаружение препятствий с помощью камеры.

Каждый модуль можно разделить на 3 части: предварительную обработку изображения, модель нейронной сети и постобработку.

• предварительная обработка：Выполните некоторую обработку и интеграцию восходящей информации.,Это упрощает ввод информации непосредственно в Модель для прогнозирования.
• модель нейронной сети：В основном включает в себя некоторые алгоритмы глубокого обучения.,Включает обнаружение цели、Семантическая сегментация、Классификация изображений и т. д.
• Постобработка：Чтобы оптимизировать Модель Эффект,Мы будем использовать некоторые традиционные алгоритмы для дальнейшей оптимизации прогнозирования сети.,Пусть наш алгоритм работает более плавно на реальной машине.

2. Принцип работы модуля визуального восприятия

3. Принцип работы модуля обнаружения светофора.

Основная функция модуля обнаружения светофоров — определение состояния светофоров в зоне видимости камеры в текущих дорожных условиях. Это типичная задача обнаружения целей. Как показано на рисунке ниже, модуль обнаружения светофора содержит в общей сложности 4 части, а именно предварительную обработку данных, определение положения светофора, распознавание и коррекцию светофора.

1. Обычно светофоры занимают относительно небольшую долю изображения. Чтобы эффективно обнаруживать светофоры, мы будем использовать информацию, предоставляемую высокоточной картой, для предварительного извлечения приблизительного местоположения области светофора из изображения с камеры.
2. Часть определения положения светофора использует обычный метод, основанный на CNN из Алгоритм обнаружения целей,Модель получения — просто выберите область,Выходными данными являются светофор по границе и светофор по категории.
3. После завершения обнаружения необходимо определить цвет светофора. Мы обучили три легкие сверточные нейронные сети для классификации. Эти три сети соответствуют трем категориям результатов обнаружения: вертикальному, горизонтальному и квадратному.
4. Наконец, корректор в основном предназначен для ситуаций, когда достоверность распознавания невысока, и корректирует текущий цвет светофора, запрашивая статус обнаружения предыдущих кадров.

4. Принцип работы модуля обнаружения линии полосы движения.

Мы рассматриваем алгоритм обнаружения линий полосы движения как задачу сегментации и стремимся определить семантическое расположение линий полосы движения на изображении. Даже если оно размыто, подвержено влиянию освещения или даже полностью перекрыто, мы надеемся его обнаружить.

Структура сети обнаружения линий полос показана на рисунке выше. Магистральная сеть представляет собой сеть сегментации со структурой кодирования-декодирования, которая используется для вывода результатов сегментации линий полос. Подключите сетевую ветвь к концу кодера полосы движения, чтобы обнаружить точки схода.

Эта ветвь состоит из сверточного слоя и полностью связного слоя. Сверточный слой преобразует объекты полос для задачи схода, а полностью связный слой глобально суммирует все изображение и выводит положение точки схода.

Модель обнаружения линий полосы движения может эффективно обнаруживать линии полосы движения при перекрытии и при повороте.

5. Принцип работы модуля обнаружения препятствий

Часть обнаружения препятствий использует алгоритм обнаружения препятствий, основанный на монокулярном зрении, и получает информацию о категории и местоположении препятствий на основе изображений, полученных камерой.

Здесь используются семь переменных для представления трехмерной границы: длина, ширина и высота объекта, положение объекта x, y, z и угол поворота объекта θ.

На рисунке выше представлена ​​структурная схема модели трехмерного модуля обнаружения препятствий. Входные данные представляют собой информацию об одном изображении, характеристики извлекаются через нейронную сеть, и, наконец, подключается модуль обнаружения (у Apollo есть две модели обнаружения, одноэтапное обнаружение). на основе метода YOLO) и метода обнаружения, основанного на обнаружении центральной точки).

Наконец, с помощью модели можно получить трехмерную информацию о препятствии (длину, ширину, высоту, угол и т. д.), и на основе этой информации можно рассчитать трехмерную границу препятствия.

5. Резюме

Короче говоря, модуль визуального восприятия автономного вождения Apollo от Baidu имеет широкие перспективы применения в области автономного вождения благодаря высокой интеграции, работе в режиме реального времени, точности, адаптируемости и открытости. Благодаря постоянному развитию и оптимизации технологий модуль визуального восприятия Apollo обеспечит надежную поддержку более безопасного и разумного автономного вождения.