В этом году крупные автомобильные компании вступили в сквозную решающую битву. Для сквозного обучения моделей требуется большой объем аннотированных 4D-данных. Как эффективно генерировать большой объем 4D-аннотированных данных, является сегодняшней технической трудностью и актуальной проблемой. Spot Он опирается на традиционное ручное аннотирование, поскольку задачи маркировки крупномасштабных данных больше не являются реалистичными. Эта статья объединяет ежедневную работу и общие решения в отрасли, чтобы рассказать о трудностях и реализации ключевых технологий построения производственной линии обработки 4D-данных.

1. Цели и основные проблемы

• 4D-аннотации: аннотации в 3D-пространстве + временные размеры (динамические объекты);
• Выходное пространство задачи восприятия, представленное BEV, преобразуется из пространства 2D-перспективного изображения в 3D-пространство, а соответствующая аннотация также преобразуется из 2D-пространства в 3D-пространство;

Основные проблемы, с которыми сталкивается на данный момент:

• Как повысить эффективность ручных аннотаций: например, стандартный эффект перекрестной проверки нескольких датчиков;
• Пространственно-временная согласованность: Синхронизация времениотклонение < 5ms；
• компенсация движения;
• Заводская калибровка и онлайн-калибровка, синхронизация калибровки внешних параметров: в основном включает калибровку между системами координат лидара, камеры, GPS, IMU и Vcs;

2. Задачи на восприятие

Статическое восприятие:элементы дорожного покрытия、конус лампы、Рекламные щиты (стоянки и т.п.).

Физический уровень:Непрерывные элементы дорожного покрытия, такие как полосы движения.、Автономные функции тротуара, такие как идентификаторы тротуара.,Статические элементы в воздухе, такие как световые знаки.,Полудинамические слои — это в основном объекты, которые легко перемещать, например конусы и бочки.

Логические отношения:Связь между линиями полосы движения,Взаимосвязь полос движения и светофора.

Динамическое восприятие:спортивный автомобильипешеход,Включает обнаружение, отслеживание и прогнозирование,Кроме того, есть атрибуты скорости и ускорения.

Универсальное восприятие препятствий:Объекты, не внесенные в белый список для сцены,в настоящий момент Основные задачи восприятия отраслиOccиOcc Flow, основной принцип задач этого типа — разделить пространство на воксели, предсказать занятость каждого вокселя и скорость воксела.

На основе технологии сегментированных сквозных больших моделей автономного вождения была разработана технология аннотирования задач 4D-восприятия. В настоящее время основные поставщики продолжают повторять свои процессы на основе этой модели. Сегментированная сквозная модель автономного вождения требует большого количества мультимодальных данных. Сложность и эффективность процесса маркировки являются основными трудностями нынешней 4D-метки. Первое рассмотрение данных, предоставляемых для восприятия. качество, количество и разнообразие.

3. Решение для многорежимной маркировки данных 4D-Label для сценариев сбора данных.

Полная линия производства данных имеет решающее значение для эффективности итерации данных. Линия производства данных о восприятии автономного вождения в основном включает в себя сбор данных, соответствие данных, загрузку данных в облако, предварительную обработку данных, предварительное аннотирование данных, ручное аннотирование данных, проверку качества данных и прием данных.

3.1 Сбор данных

С использованием нескольких датчиков, лидара/камеры/IMU/GPS/GNSS и т. д. в настоящее время в отрасли обычно используется камера объемного обзора 7 В + камера объемного обзора 4 В + 1 лидар.

3.2 4D реконструкция

После сбора данных осуществите реконструкцию облака точек или уровня объекта;

Ошибка калибровки：Lidar-camerошибка перепроецирования<3px,Ошибка угла онлайн-калибровки<0.1deg。

Синхронизация времени：Синхронизация времениотклонение < 5ms；

3.3 Предварительная аннотация модели

Чтобы снизить затраты на ручное аннотирование и повысить эффективность, используются возможности облачных больших моделей. В то же время статистика предварительно аннотированных результатов также имеет определяющее значение для сбора данных.

Эта часть является одним из прорывных пунктов для повышения эффективности:

• После того, как базовая версия линии производства данных станет стабильной, необходимо дополнить данные конкретных сценариев (перегруженных участков дороги) или конкретного распределения (100-200 м), требуемые моделью. Использование предварительной облачной аннотации значительно сэкономит время. обращения данных.
• Сэкономьте трудозатраты, время и эффективность: если 3D-модель с предварительно аннотированными аннотациями будет продолжать повторяться и эффект будет приемлемым, время ручной проверки и дополнения будет значительно сокращено по сравнению со временем прямого аннотирования вручную.

3.4 Ручная маркировка и проверка качества

Исследование и разработка сценариев ручной аннотации в 3D и автоматической проверки качества; ручная аннотация фокусируется на процессе аннотации и проверке качества на основе сценариев и моделей. Аннотирование вручную занимает много времени, а переработка является наиболее экономичным подходом. Поэтому итеративно проверяйте доступность данных небольшими шагами, прежде чем постепенно выполнять пакетное аннотирование.

3.5 Мультисенсорная перекрестная проверка

Например, мы используем предварительную чистку больших моделей на 2D-изображениях, чтобы получить некоторые результаты аннотаций, и сравниваем их с результатами аннотаций в 3D-пространстве, чтобы удалить сильно дифференцированные данные.

3.6 Конвейер обработки данных

В этом году Автономное Сквозное вождение распространяется по Китаю, и срочно необходимо создание облачных технологий с высокой вычислительной мощностью и большим объемом данных, поддерживающих сквозные большие модели. Традиционным поставщикам облачных услуг, таким как Alibaba и Tencent, сложно иметь полноценную и зрелую облачную инфраструктуру для интеллектуального вождения. вождениецепочка инструменты. Хотя Horizon, SenseTime и MMT имеют преимущества в бизнес-секторе, им не хватает бизнес-стимуляторов. Зрелая реализация, оптимизация и итерация — это проблемы. Так же, как несколько лет назад NVIDIA предложила сквозную большую модель, но окончательную коммерческую версию. все еще находится в автомобилепредприятии. Лучшим поставщиком может быть Huawei, но многим автомобильным компаниям трудно принять «силу» Huawei. вождение Это событие,Отечественные традиционные автомобильные компании могут стать поставщиками Huawei или поставщиками Tesla.,Замечательная игра началась).

Если говорить более подробно, суть построения полноценного конвейера обработки данных заключается в следующем:

1. Передача данных: сложная сквозная модальность передачи данных,Один клип может достигать нескольких G,Сбор данные на уровне одного автомобиля в ТБ/день, в настоящее время внутри страны Автономное Автомобильные компании собирают сотни или даже тысячи автомобилей каждый день, и эффективность передачи данных имеет решающее значение. В настоящее время отрасль обычно собирает данные с сотен или даже тысяч автомобилей. данные для загрузки, вывод предварительной аннотации данных, аннотация данных вручную (эта ссылка, если платформа облачной обработки ицепочка инструментыизолированные,Затраты на передачу данных чрезвычайно высоки),В этих трех звеньях имеются узкие места в плане эффективности.
2. Хранение данных: как управлять большими пакетами модальных данных,Как поддержать обучение больших моделей,Как поддерживать мультимодальные модели для создания сложныхинтеллектуальный анализ данныеприложение. Проблема хранения данных также растет. В настоящее время Alibaba Cloud нацелена на автономное хранилище. вождениерешение использует многоуровневое сотрудничество в области хранения и внесло множество индивидуальных преобразований.
3. Статистика/мониторинг данных: это ключ к контролю качества и количества данных по каждому каналу.,Мониторинг данных и информационная панель данных очень поучительны для аннотирования данных.,В то же время статистика данных является мощным индикатором оценки для достижения разнообразия данных.

3.7 Автоматическое аннотирование статических объектов

Автоматическое аннотирование статических объектов в основном разделено на две части:

• Аннотации статических элементов тротуара. Статические элементы тротуара в основном включают в себя полосы движения, бордюры, светофоры и т. д. Аннотации статических элементов тротуара по сути представляют собой моделирование дорожного покрытия, то есть локальное картографирование. Связанные с ним технологии можно найти в отраслевых руководствах. горизонтальная однопроходная реконструкция и многопроходные методы агрегирования.
• Другие статические элементы: использование метода слияния лидара и камеры для достижения полностью автоматического аннотирования истинных 3D-значений, похожих на конусы, водяные кони, дорожные знаки и т. д.;

3.8 Динамическая маркировка объектов

Аннотации динамических элементов охватывают широкий спектр областей и в основном решают две проблемы: во-первых, они обеспечивают истинные значения состояния 3D-детектирования, отслеживания, скорости и ускорения для трехмерного восприятия bev и требования к истинным значениям сквозной модели. . Во-вторых, метод пост-слияния лидара и камеры используется для предварительной очистки больших моделей, а перекрестная проверка сочетается с результатами восприятия 2D-изображения для достижения полностью автоматического аннотирования.

3.9 Общая маркировка препятствий

Универсальные препятствия в основном включают в себя некоторые распространенные препятствия или препятствия, не входящие в белый список, в сценариях автономного вождения, такие как автомобили особой формы, домашние животные, камни и т. д. В настоящее время эта часть решается в отрасли с использованием технологии Occupancy, которая делит пространство на однородные воксели (вокселы). ), место, занятое объектами, отмечается 1, а место, не занятое объектом, — 0.

4. Облачная платформа & цепочка инструментов

Как упоминалось ранее, полная интеллектуальная платформа обработки данных вождения очень важна для поддержки быстрой итерации модели и эффективного вращения системы замкнутого цикла данных. В то же время эта платформа предпочтительно должна быть совместима с платформами обучения моделей и платформами моделирования. . В связи со сквозной большой моделью стоимость передачи больших объемов данных очень высока, поэтому необходимо совместное создание нескольких платформ. Для бизнеса в области автономного вождения основными требованиями к облаку являются:

Автоматизированная платформа для обучения моделей：Трудность в этой части заключается в высокопроизводительном планировании параллельных вычислений.；

Платформа данных：Платформа Данные в основном используются для сбора данных и массовой обработки данных. Трудность заключается в передаче данных, распределенном хранении, распределенной обработке данных и крупномасштабном интеллектуальном хранении данных. анализ Для данных он даже включает в себя преобразование векторных и графовых баз данных.

Платформа для ручных аннотаций：Автономное вождение Блок итерации обновления технологий,Обучение модели невозможно отделить от большого объема ручной работы по аннотированию.,Поэтому важно поддерживать способность существующего облака поддерживать тысячи уровней одновременного ручного аннотирования.

Тест моделирования：Автономное Вождение: Данные анализа сцены необходимо вернуть в систему моделирования для интеграционного тестирования и проверки.

Используйте Канбан：Один из наиболее интуитивно понятных способов наблюдения за данными и изменения статуса каждой ссылки.,Через доску Канбан мы можем наблюдать весь процесс обработки данных по вертикали.,Сбоку вы можете наблюдать за распределением данных, использованием данных и т. д.