Перепечатано из: Трехмерный мир ННУ.

Редактор: Дунъань из-за публичного аккаунта @немногоискусственного интеллекта

LiDAR является одним из важных датчиков для реальных задач трехмерного зондирования, но когда в оптической среде присутствуют частицы воды или снега, эти частицы взаимодействуют с лазерным лучом, в частности, поглощая, отражая или преломляя лазерный луч. Это взаимодействие приводит к двум важным эффектам: один заключается в том, что отраженная мощность объекта, принимаемая LiDAR, ослабляется, другой заключается в том, что обратное рассеяние частиц вызывает псевдомаксимальное значение полученной мощности, которое отличается от истинного расстояния до объекта; В пределах диапазона генерируются ложные эхо-сигналы. Таким образом, из-за сильных шумовых помех захваченное облако точек претерпит сдвиг области, который значительно отличается от такового при обычной погоде, что приведет к серьезному ухудшению качества измерений. Это явление отрицательно влияет на производительность сложных задач, таких как обнаружение 3D-объектов. Далее будут представлены три смежные исследовательские работы:

01 Надежное 3D-обнаружение целей в дождливую погоду

Название диссертации: На пути к надежному обнаружению 3D-объектов в дождливых условиях

В ролях: Альди Пироли, Винценц Даллабетта, Йоханнес Копп.

Включенные журналы (конференции): ITSC 2023

Ссылка на документ: https://arxiv.org/pdf/2310.00944.pdf.

1.1 Мотивация и вклад

Рисунок 1-1. Ухудшение характеристик обнаружения целей из-за эффекта распыления

Эффект разбрызгивания воды особенно заметен, когда автомобиль движется на высокой скорости по скользкой дороге. В результате качения автомобильных шин капли воды на земле отбрасываются назад, образуя коридор для разбрызгивания. Эти капли воды улавливаются датчиком LiDAR и превращаются в помехи при измерении. На работу детектора объектов, обученного в нормальных погодных условиях, попадание таких водяных брызг существенно повлияет (рис. 1-1). Данное воздействие проявляется, в частности, в обнаружении промаха цели, то есть невозможности обнаружения цели из-за затруднения поля зрения, и генерации фантомных целей, что представляет собой введение ложноположительных обнаружений в систему восприятия.

В ответ на вышеупомянутое явление в этой статье (1) предлагается структура, направленная на повышение помехозащищенности детекторов целей 3D LiDAR в дождливой среде. Структура основана на двухточечном механизме фильтрации суровых погодных условий. (2) Для мультимодальных конфигураций, содержащих LiDAR и радиолокационные датчики, авторы вводят радарные цели в качестве дополнительного этапа постобработки для эффективной фильтрации ложноположительных целей, генерируемых водяными брызгами. Результаты испытаний в реальных сценариях показывают, что метод, предложенный в этой статье, значительно повышает устойчивость нескольких детекторов целей к помехам от брызг дорожной воды, сохраняя при этом производительность в реальном времени.

1.2 Метод

Рисунок 2. Общая структура метода этой статьи.

Ход метода, описанный в этой статье, показан на рисунке 1-2. Для данного облака точек P LiDAR сначала удалите все точки шума неблагоприятных погодных условий и получите отфильтрованное облако точек P0 в качестве входных данных детектора цели. По сравнению с использованием необработанных облаков точек непосредственно в качестве входных данных, на результаты обнаружения меньше влияют явления дорожных брызг. В мультисенсорных установках, включая радар, ложноположительные обнаружения дополнительно фильтруются путем проверки того, имеет ли обнаруженный объект связанную с ним радиолокационную цель, используя присущую ему устойчивость к неблагоприятным погодным условиям. Синий блок обнаружения представляет истинное значение, а зеленый блок обнаружения представляет прогнозируемое значение. (Подробнее см. в оригинальной статье)

1.3 Экспериментальные результаты

Таблица 1-1 Результаты оценки до и после внедрения модуля фильтра в SemanticSpray Набор данных

Таблица 1-2 Результаты фильтрации суровых погодных условий с использованием различных методов

Рисунок 1-3 Наглядные результаты метода этой статьи (где,Перспектива камеры первой линии,Вторая строка — необработанные качественные результаты SECOND.,В третьей строке представлены результаты использования AWNet.,Голубой — облако точек автомобиля.,Красный — точка шума распыления)

02 Моделирование снегопада LiDAR для надежного обнаружения 3D-объектов

Название диссертации: Моделирование снегопада LiDAR для надежного обнаружения 3D-объектов

Авторы: Мартин Ханер, Христос Сакаридис, Марио Биелич и другие.

Включенные журналы (конференции): CVPR 2022

Ссылка на документ: https://arxiv.org/pdf/2203.15118.pdf.

Ссылка на код: https://github.com/SysCV/LiDAR_snow_sim

2.1 Результаты моделирования

Рисунок 2-1 Результаты моделирования（Солнечная погода слева,Справа моделируется дождь и снег.,Для анимации перейдите по ссылке: https://github.com/SysCV/LiDAR_snow_sim/blob/main/teaser.gif)

В этой статье используются данные о солнечной погоде и генерируются данные о дожде и снеге на основе алгоритмов моделирования для повышения надежности трехмерного обнаружения целей в дождь и снег.

2.2 Метод моделирования

Рисунок 2-2 Схематическая диаграмма эха LiDAR, подверженного воздействию частиц снега

1. Поскольку сложно собирать и маркировать обучающие выборки в дождливых и снежных условиях, предлагается модель отражения лазерного луча для имитации снегопада, искажения данных облака точек реального лидара солнечной погоды и генерации виртуальных лидарных данных дождливой и снежной погоды.

Рисунок 2-3 Влияние дождливой погоды на сбор облаков точек LiDAR

2. Поскольку снегопады часто вызывают намокание земли, предлагается использовать модель отражения лазерного луча от земли для имитации влажности почвы. Измените данные облака точек ясной погоды, чтобы сгенерировать данные о приемке облака точек, которые имитируют влажность почвы.

3. Используйте набор данных STF (набор данных об облаках точек экстремальных погодных условий), чтобы улучшить данные и обучить надежную модель обнаружения.

2.3. Результаты экспериментов

Рисунок 2-4 Эта статьяметодиз Результаты моделирования

Рисунок 2-5 Сравнительные результаты трехмерного моделирования обнаружения целей снегопада на основе метода STF

03 STF

Описание: Видеть сквозь туман, не видя тумана: Глубокое слияние мультимодальных датчиков в невидимой неблагоприятной погоде

Автор: Марио Биелич, Тобиас Грубер, Фахим Маннан и др.

Включенные журналы (конференции): CVPR 2020

Ссылка на документ: https://arxiv.org/pdf/1902.08913.pdf.

Ссылка на код: https://github.com/princeton-computational-imaging/SeeingThroughFog.

3.1 Мотивация и вклад

Рисунок 3-1 Влияние сильного тумана на обнаружение целей

Существующие методы обнаружения объектов, такие как эффективные SSD, обучаются на наборах данных, находящихся в автомобиле, с учетом хороших погодных условий. Хотя эти методы хорошо работают при хороших условиях, они терпят неудачу во время редких погодных явлений (рис. 3-1). Детекторы, работающие только с лидаром, например, та же модель SSD, обученная на прогнозируемой глубине лидара, могут быть искажены сильным обратным рассеянием в тумане или снегу. Эти асимметричные искажения создают проблему для методов синтеза, которые полагаются на избыточную информацию.

В ответ на вышеуказанные проблемы в данной статье вносятся следующие вклады:

1) Представлен мультимодальный набор данных о суровых погодных условиях, включая данные камер, лидаров, радаров, датчиков ближнего инфракрасного диапазона и FIR. Набор данных содержит редкие сценарии, такие как сильный туман, сильный снегопад и сильный дождь, которые произошли во время более чем 10 000 километров езды по Северной Европе.

2) Предложить глубокую мультимодальную объединенную сеть, которая отличается от объединения на уровне предложения, но представляет собой адаптивное объединение, основанное на энтропии измерений.

3) Оцените модель на предлагаемом наборе данных и убедитесь, что она обобщает невидимые асимметричные искажения. В суровых условиях, на которые не влияют погодные условия, включая легкий туман, густой туман, снегопад и ясную погоду, AP этого метода более чем на 8% выше, чем современный метод термоядерного синтеза, и он может работать. в реальном времени.

3.2 Набор данных

Рисунок 3-2 Набор предложенный в этой статье Информация о сборе данных

Справа: географический охват двухмесячной кампании по сбору данных протяженностью 10 000 километров в Германии, Швеции, Дании и Финляндии. Вверху слева: испытательный автомобиль, оснащенный верхним лидаром, камерой ворот со вспышкой, камерой RGB, радаром, камерой FIR, метеостанцией и датчиком сцепления с дорогой. Внизу слева: Распределение погодных условий на протяжении всего процесса сбора данных. (Подробнее см. в оригинальной статье)

3.3 Метод

Рисунок 3-3. Общая структура метода этой статьи.

Общая архитектура состоит из четырех ветвей SSD с глубоким обменом функциями и адаптивным объединением лидара, камеры RGB, закрытой камеры и радара. Все сенсорные данные проецируются в систему координат камеры. Чтобы управлять объединением датчиков, модель опирается на энтропию датчиков, предоставляемую каждому модулю обмена функциями (красный). Модуль глубокого обмена функциями (белый) обменивается информацией с блоком параллельного извлечения функций (синий). Объединенные карты признаков анализируются с использованием блоков SSD (SSD). (Подробнее см. в оригинальной статье)

3.4. Результаты экспериментов

Таблица 1 Различные методы целей. Результаты в различных суровых условиях. эксперимента Сравнивать

04 Подвести итог

Все три работы, представленные в этой статье, представляют собой исследования по автоматическому обнаружению движущихся целей в суровых условиях.

В первой работе предлагается процесс обнаружения, позволяющий повысить устойчивость методов 3D-обнаружения целей на основе LiDAR к явлениям дорожных брызг.

Во второй работе изучается проблема моделирования трехмерных данных обнаружения целей на основе LiDAR в условиях снегопада.

Третья работа предлагает мультимодальный набор данных для обнаружения целей в суровых условиях реального мира, а также предлагает сеть глубокого синтеза для надежного синтеза.

Автор считает, что в плохую погоду крайне небезопасно использовать только один модальный датчик для восприятия окружающей среды. Использование данных от нескольких модальностей (камер, LiDAR, радара, инфракрасных камер и т. д.) для повышения надежности обнаружения является важным способом. преодолевать суровые погодные условия. Единственный способ решения задач автономного вождения в погодных условиях.