Введение: Поскольку требования потребителей к более безопасному, комфортному и удобному вождению продолжают расти, автомобильный интеллект становится неизбежной тенденцией. Автомобильный интеллектуальный научно-исследовательский институт Changan, являющийся научно-исследовательским учреждением в составе Changan Automobile Group Co., Ltd., специализируется на инновациях и исследованиях автомобильных интеллектуальных технологий. Чтобы удовлетворить потребности различных бизнес-отделов в анализе данных, компания Changan Automobile модернизировала платформу анализа данных Интернета транспортных средств на базе Apache Doris, поддерживающую обработку десятков миллиардов данных в реальном времени за один день и достигающую второго уровня. ответ на миллиарды запросов данных, что дает Changan Automobile возможность совершенствовать пользователей. Компания добилась замечательных результатов с точки зрения качества обслуживания автомобилей, предупреждения в режиме реального времени о неисправностях транспортных средств и обеспечения безопасного вождения транспортных средств, обеспечивая надежную поддержку своих технологических инноваций. в направлении разведки.

Интеллект — это революция в автомобильной промышленности. Он направлен на использование передовых цифровых технологий, таких как большие данные, искусственный интеллект, облачные вычисления и Интернет вещей, для всестороннего восприятия, анализа, принятия решений и эксплуатации. рабочее состояние автомобильного оборудования и систем управления, тем самым повышая безопасность, комфорт, удобство и энергосбережение автомобиля.

Являясь научно-исследовательским учреждением в составе Changan Automobile Group Co., Ltd., Changan Automobile Intelligent Research Institute специализируется на инновациях и исследованиях автомобильных интеллектуальных технологий. Его видение заключается в реализации интеллектуального вождения, интеллектуального сетевого подключения и интеллектуального транспорта посредством непрерывных инноваций и инноваций. технологические прорывы, комплексное развитие, чтобы предоставить потребителям более безопасные, удобные и разумные путешествия, и стремится стать ведущей компанией в области интеллектуальных автомобилей в Китае.

Одним из ключей к реализации автомобильного интеллекта является необходимость создания стабильной и эффективной платформы данных для переноса и использования огромных объемов данных Интернета транспортных средств. В качестве важной поддержки интеллектуального развития Changan Automobile Intelligent Research Institute отвечает за агрегацию, обработку и применение данных Интернета транспортных средств всей Changan Automobile Group. Для удовлетворения потребностей в поддержке данных, выдвинутых различными бизнес-подразделениями, была создана платформа анализа данных Интернета транспортных средств, а также внедрены приложения для обработки данных во многих ключевых областях, таких как анализ бизнес-показателей, системы управления качеством, интеллектуальное энергопотребление, умная диагностика и умные операции.

В этой статье подробно рассматривается автомобильный Интернет транспортных средств Changan. Платформа данных из истории развития и практического опыта,Поделиться Changan Automobile на основе Apache Doris Поддержка один день сто уровень обработка миллиарда данных в реальном времени, реализация десятиуровневой миллиарда Ответ на запрос данных за секунды из Практического опыта。также,Внедрение Apache Doris также принесло компании Changan Automobile значительные преимущества с точки зрения улучшения пользовательского опыта и безопасности вождения.,Оказать решительную поддержку интеллектуальному преобразованию и развитию мехатроники Changan Automobile.。

Проблемы, с которыми сталкивается автомобильный интеллект

В последние годы Changan Automobile добилась впечатляющего роста продаж. С января по август совокупные продажи независимых легковых автомобилей Changan Automobile превысили один миллион единиц, поддерживая постоянно растущую динамику развития. Сила бренда и конкурентоспособность продукции новой энергетической серии, представленной Deep Blue, Avita и Qiyuan, продолжали улучшаться. Продажи автомобилей на новых источниках энергии составили около 256 000 единиц, увеличившись на 102,44% в годовом исчислении, что стало новой движущей силой роста продаж.

На фоне быстрого роста продаж автомобилей данные Интернета транспортных средств демонстрируют тенденцию взрывного роста, основной из которых являются данные CAN-шины транспортных средств. CAN — это сеть контроллеров. Через шину CAN можно унифицировать обмен данными между различными электронными системами управления автомобилем. Во время фактической эксплуатации автомобиля данные шины CAN являются важной гарантией безопасности, надежности и высокой производительности автомобиля.

• Мониторинг и управление системами автомобиля: CAN Данные шины можно использовать для мониторинга и управления различным оборудованием и компонентами системы. Датчик подачи CAN Шина отправляет измеренные значения, такие как температура, давление, положение и т. д., чтобы другие устройства или контроллеры могли отслеживать и принимать соответствующие меры в режиме реального времени. В то же время контроллер может передавать CAN Шина отправляет инструкции управления исполнительному устройству.,Например, регулирующие клапаны, приводные двигатели и т. д.,Добиться контроля над системой.
• Обратная связь с информацией об автомобиле в режиме реального времени: CAN Данные шины можно использовать для предоставления информации обратной связи в режиме реального времени. Например, в системах управления транспортными средствами датчики передают CAN Скорость передачи данных по шине、угол поворота рулевого колеса、Статус торможения и другие данные,Контроллер может принимать решения и корректировки в режиме реального времени на основе этих данных.,Для обеспечения безопасности и производительности автомобиля.
• Обмен данными и координация: CAN Данные по шине позволяют обмениваться данными и координировать их между различными устройствами. действовать CAN автобус,Различные контроллеры и устройства могут обмениваться информацией,Общее состояние и команды управления,Это полезно для улучшения общей производительности и эффективности системы.
• Управление сетью и устранение неполадок: CAN Данные шины используются для управления сетью и диагностики неисправностей. действовать CAN автобус,Может автоматически идентифицировать, настраивать и контролировать оборудование,Для управления сетью и устранения неполадок,Повышение надежности и ремонтопригодности системы.

Поскольку продажи подключенных автомобилей продолжают расти, транспортные средства будут приносить сотни миллиардов долларов каждый день. CAN данные, очищенные данные также находятся в 50 уровень миллиарда,Лицо Такой огромный и постоянно расширяющийся масштаб данных,Как быстро извлекать и анализировать ценную информацию из огромных данных,Обеспечивать поддержку данных для отделов исследований и разработок, производства, продаж и других отделов.,Решение сложившейся проблемы стало насущной необходимостью.

Если вы хотите обеспечить качественную поддержку данных и услуги, вам сначала необходимо решить следующие проблемы:

• Запись и обработка крупномасштабных данных в режиме реального времени：Чтобы достичь интеллекта,Двери, сиденья и стоп-сигналы автомобиля оснащены большим количеством датчиков.,Каждый датчик собирает один или несколько данных сигнала.,Данные агрегируются и подвергаются дальнейшей обработке.。В настоящее время Changan Automobile необходимо поддерживать как минимум 400 Подключены тысячи транспортных средств, а пропускная способность Интернета транспортных средств в секунду достигла миллиона уровней. TPS , объем новых данных, добавляемых каждый день, достигает десятков TB , и продолжает расти. Как записывать данные в режиме реального времени, стало основной задачей, стоящей перед Changan Automobile.
• Точный и своевременный анализ в режиме реального времени данныхнуждаться：В сценарии Интернета транспортных средстванализ данные обычно требуют режима реального времени,Быстрое получение результатов анализа является важной гарантией для таких услуг, как мониторинг в реальном времени, диагностика неисправностей, раннее предупреждение и принятие решений в реальном времени. Например, в умной диагностике,Автопроизводителям необходимо собирать соответствующие данные сигналов практически в режиме реального времени.,и быстро найти причину неисправности. Анализирует данные датчиков транспортного средства, записи вождения и т. д.,Потенциальные неисправности можно обнаружить заранее.,Выполняйте профилактическое обслуживание,Повысить надежность и безопасность автомобиля.
• Удешевление хранения данных и вычислительных затрат.：лицобыстрый ростизизданные и все чащеиз Полная записьивычислитьнуждаться,В результате затраты на хранение данных и вычисления продолжают расти. Для этого требуется, чтобы платформа данных имела недорогие возможности хранения и вычислений.,В то же время, чтобы снизить затраты на использование, необходимо иметь возможности эластичного масштабирования;,Чтобы пользователи могли быстро расширить емкость в периоды пиковой нагрузки.,Повысьте эффективность анализа в сценариях обработки больших объемов данных.

Чтобы предоставить пользователям лучший опыт вождения и предоставить бизнес-подразделениям более точную и эффективную поддержку данных, Changan Automobile начала изучать и практиковать создание платформы больших данных.

Автономное хранилище данных Hive сложно поддерживать сверхкрупномасштабные службы обработки данных в реальном времени.

Changan Automobile Internet of Vehicles-Hive автономное хранилище данных.jpg

Компания Changan Automobile сначала создала архитектуру платформы данных с Hive в качестве ядра. Обрабатываемые данные включают данные CAN-шины автомобиля и данные скрытых точек. Эти данные передаются от автомобиля к облачному шлюзу Changan через сеть 4G, а затем шлюз записывает данные. данные в Кафку. Учитывая ограничения объема данных и места для хранения, процесс обработки данных в ранней архитектуре заключался в обработке данных, собранных Kafka, непосредственно через Flink и сохранении результатов в Hive через ETL. Нижестоящие приложения используют Spark SQL для послойных автономных вычислений и экспортируют сводные данные в MySQL через Sqoop. Наконец, Hive и MySQL предоставляют службы данных для уровня приложений соответственно.

Хотя на начальном этапе эта архитектура в основном удовлетворяла потребности в обработке данных, по мере того, как продажи транспортных средств продолжали расти, когда ежедневно приходилось сталкиваться с сотнями миллиардов задач по обработке и анализу данных, постепенно выявлялись проблемы архитектуры:

• Своевременность данных не может быть гарантирована.：Hive Скорость импорта низкая, особенно при обработке больших объемов данных, время импорта значительно увеличивается, в то же время некоторые бизнес-зависимости; T+1 Кроме того, автономные задачи не могут удовлетворить потребности обработки данных в реальном времени; Hive Поддерживается только покрытие разделов,Обновление данных уровня первичного ключа не поддерживается.,Он не может удовлетворить потребности в обновлении данных в особых сценариях.
• Задержка запроса и анализа данных высокая.：для 10 уровень миллиарды Крупномасштабный запрос к таблице выше, Hive Производительность запросов низкая. действовать SparkSQL При выполнении иерархических операций хранилища данных время запуска и выполнения задач будет больше, что также повлияет на ответ на запрос. Кроме того, информационные панели данных, BI Приложения дисплея не могут отображаться непосредственно из Hive В запросе вам необходимо Hive Экспортируйте данные в MySQL в, по MySQL Предоставляемые услуги при условии Hive Производная производительность, когда объем данных большой, экспорт в MySQL Затраты времени значительно возрастают, что приводит к увеличению времени ответа на запрос. Кроме того, Java Серверный запрос MySQL В то же время чрезмерный объем данных также повлияет на время ответа данных.

В конечном счете, основная причина этих проблем заключается в том, что ранняя архитектура не могла удовлетворить потребности в данных в сверхкрупномасштабных сценариях обработки данных в реальном времени, что вынудило Changan Automobile провести модернизацию платформы.

Технические исследования и отбор

После углубленного исследования компания Changan Automobile решила представить хранилище данных реального времени с открытым исходным кодом Apache Doris, которое имеет значительные преимущества в производительности импорта, запросах в реальном времени и т. д.:

• Богатые методы импорта данных：Doris Предоставляет богатые встроенные методы импорта, такие как Broker Load и Stream Load и т. д., что может удовлетворить потребности в импорте данных в режиме реального времени и в автономном режиме.
• Поддержка анализа запросов в реальном времени：Doris большие часы Join Выдающиеся возможности, обеспечивающие разнообразные распределенные Join способ сделать Join SQL Написание очень гибкое, что значительно улучшает анализ. эффективность данных. А ещё, Дорис Поддерживает десятки тысяч отдельных узлов QPS Сверхвысокий параллелизм может решить проблему сбоя запросов на ранних стадиях архитектуры из-за чрезмерного параллелизма на стороне интерфейса.
• Более низкая стоимость использования：Doris совместимый MySQL протокол, разработчики могут использовать его более эффективно и удобно MySQL Напишите и выполните операторы запроса, чтобы эффективно повысить эффективность разработки. на основе Doris Минималистская архитектура не только упрощает развертывание, эксплуатацию и обслуживание, но также делает операции расширения и сжатия более удобными и гибкими. Тем временем Дорис Благодаря хорошей восходящей и нисходящей экосистеме он может предоставить пользователям гибкий и эффективный опыт управления и анализа данных. Эти преимущества и особенности значительно сократили Doris из Стоимость использования.

Помимо этого,Активность сообщества открытого исходного кода также является одним из важных факторов, которые мы учитываем. 。Apache Doris Привлечение большого количества разработчиков и пользователей для участия в сообществе и совместного внесения кода и улучшений. Дорис, это играет ключевую роль в повышении качества и стабильности. Тем временем Дорис Сообщество предоставляет пользователям исчерпывающую документацию и техническую поддержку, а на любые вопросы можно быстро ответить и помочь. Апач Doris Уровень активности позволяет нам чувствовать себя более комфортно при его использовании и решает технические проблемы.

На основе платформы анализа данных Интернета транспортных средств Apache Doris.

Changan Автомобильный Интернет транспортных средств - Интернет транспортных средств анализ данных Platform.jpg

В новой платформе анализа данных Интернета транспортных средств данные Kafka могут быть напрямую записаны в Doris в режиме реального времени через Flink в сочетании с функцией потоковой загрузки Doris. В то же время функция Doris Broker Load может использоваться для импорта данных Hive в Doris. для анализа и расчета. В этой архитектуре Apache Doris отвечает за расчет и обработку данных в реальном времени, а также служит результатом для прямого вывода данных на вышестоящую бизнес-платформу для вызовов.

Это обновление сокращает путь обработки данных в системе и обеспечивает своевременность крупномасштабного импорта данных. Кроме того, внедрение Apache Doris обеспечивает поддержку унифицированных служб данных для вышестоящего уровня приложений, что имеет решающее значение для повышения эффективности анализа запросов. Конкретные преимущества заключаются в следующем:

• Удобная запись и миграция данных: Дорис Он поддерживает расширенные формы импорта данных и может легко импортировать данные из разных источников данных. Во-вторых, Дорис поддерживатьпроходить insert into select Быстро импортируйте данные без необходимости сложной настройки миграции данных и внедрения компонентов внешней синхронизации.
• Единый сервис данных, ответ на запрос второго уровня: подать Doris Multi-Catalog Функция, анализ отдел данных может напрямую от Doris Запросите данные онлайн, чтобы получить ответ на запрос на втором уровне. Во-вторых, Дорис Join Отличные способности, более чем 1000 При запросе таблицы результатов также можно получить результаты, возвращаемые за секунды.
• Сократите затраты на хранение и вычисления. В ранних архитектурах используйте Flink Запись данных в реальном времени и их сжатие требуют много энергии. И представить. Apache Doris После этого с помощью Doris ZSTD Алгоритм сжатия (3-5 раз превышает степень сжатия), что может эффективно сократить ресурсы, необходимые для вычислений и хранения, а также упростить процесс обработки сжатия. Doris Проводится собственными силами, потребление не требуется Flink Вычислительные ресурсы.

Данные в режиме реального времени от T+1 ​​до T+0 улучшают качество интеллектуального вождения.

Данные шины CAN играют ключевую роль в анализе транспортного средства. Через шину CAN можно считывать различную информацию о состоянии автомобиля, такую ​​как скорость автомобиля, скорость вращения, температура воды и т. д. Эти данные имеют большое значение для анализа данных о вождении транспортных средств и предоставляют ценную справочную информацию для подразделений, занимающихся исследованиями и разработками транспортных средств.

В ранней архитектуре данные CAN транспортного средства загружались в соответствии с CAN ID в качестве измерения. Однако в реальном использовании сигналы различных CAN ID обычно необходимо выравнивать по времени, чтобы сформировать широкую таблицу. Раньше решение архитектуры хранилища данных сначала записывало данные в Kafka в Hive. В то время данные разных идентификаторов CAN хранились в разных строках, и для преобразования данных в несколько необходимо было использовать SparkSQL T+1. различные сферы бизнеса. Широкая таблица. Однако этот метод расчета требует много времени, операторы SQL сложны в обслуживании, а качество данных в реальном времени оставляет желать лучшего.

Представляем Apache Doris После этого мы Doris на основе Aggregate Модель агрегации строит бизнес-домен на основе широкой таблицы,Используйте транспортное средство и время в качестве основных ключей,другойиз Оба сигнальных поля используютсяREPLACE_IF_NOT_NULLопределение。Подробности следующие：

Changan Automobile Internet of Vehicles-данные в реальном времени.jpg

Во-первых, вы можете использовать Flink для потребления данных в Kafka в соответствии с измерением CAN ID. В Flink данные шунтируются в соответствии с конфигурацией таблицы всего бизнес-домена, а сигналы с одним и тем же CAN ID распределяются по соответствующему бизнесу. широкая таблица домена. Когда данные одного и того же транспортного средства с разными идентификаторами CAN одновременно достигают одной и той же таблицы бизнес-домена, эти данные могут быть заполнены в поля данных сигнала разных идентификаторов CAN в одной строке, чтобы реализовать построение широкой таблицы ( как показано на рисунке выше (пример таблицы Дорис).

В этом методе данные в основном перенаправляются через Flink и отправляются в различные таблицы домена Doris (каждая таблица содержит около 200 полей). Логика генерации широких таблиц размещена в Doris, вместо выполнения операций выравнивания широких таблиц во Flink. Причина такой конструкции заключается в том, что существует определенная разница во времени между загрузкой данных для разных идентификаторов CAN. Когда временное окно слишком велико, использование Flink для агрегирования на основе транспортных средств и времени может привести к чрезмерным затратам ресурсов.

Благодаря вышеуказанному решению актуальность данных можно повысить с T+1 до T+0. В то же время для широких таблиц, содержащих около 1 миллиарда строк данных, эффективность запроса может быть достигнута за секунды, то есть при выполнении велосипедных запросов результаты запроса могут быть получены быстро.

Запрос в режиме реального времени 1 миллиарда кодов неисправностей DTC для обеспечения безопасности вождения автомобиля.

DTC принадлежит сообщению о неисправности в данных CAN, поэтому он сохраняется как отдельные бизнес-данные. Ежедневные данные DTC могут достигать 1 миллиарда штук. Чтобы бизнес-конец мог удобно и эффективно использовать эти данные, быстро проводить диагностику неисправностей и повышать безопасность транспортных средств, необходимо связать подробные данные кодов неисправностей DTC с бизнес-конфигурацией MySQL. стол.

В ранней архитектуре разработчикам нужно было каждый день записывать большие объемы данных DTC в Kafka, затем обрабатывать их в реальном времени с помощью Flink и сохранять результаты в Hive. Есть некоторые проблемы с этим подходом:

• лицо 10 Трудно импортировать таблицу данных уровня миллиарда. MySQL Делайте запросы в режиме реального времени. Если вы запрашиваете напрямую Hive, время ответа на запрос будет очень долгим, что затруднит удовлетворение потребностей бизнеса.
• Поскольку прямой связи нет MySQL из таблицы конфигурации, таблицу конфигурации необходимо регулярно импортировать Hive Несколько складов. Хотя это может удовлетворить потребности в обработке данных, оно проигрывает DTC Конфигурация в режиме реального времени.

Changan Automobile Internet of Vehicles-запрос в реальном времени.jpg

Представляем Apache Doris Наконец, проблемы ранней архитектуры были успешно решены с использованием метода обработки, показанного на рисунке выше. Сначала поставь Hive из DTC Подробные данные переданы HDFS Импорт файлов из способа импорта места жительства Doris , а затем создайте соответствующий MySQL Catalog Подключитесь и наконец используйте бэкэнд Java проходить MyBatis соединять Doris базу данных и использовать SQL проходить Catalog соединять MySQL из DTC таблица конфигурации Join Операция, вы можете напрямую запрашивать и возвращать результаты в режиме реального времени.

проходить Apache Doris Завершено успешно 10 уровень миллиардов данных из запроса в реальном времени и могут быть связаны MySQL таблица конфигурация напрямую связана с запросом и успешно реализует обновление конфигурации в реальном времени.

Подведение итогов и планирование

в силу Apache Doris Отличная производительность, десятки машин были развернуты в Changan Automobile, поддерживая почти десять бизнес-линий, обрабатывая данные в масштабе 100 уровней каждый день. миллиарда。 Apache Doris из Внедрение Changan Automobile повышает удобство использования автомобиля, Предупреждение в режиме реального времени о неисправности автомобиля、Обеспечить безопасное вождение транспортных средств и принести значительные результаты,Он обеспечивает мощную поддержку своих технологических инноваций в области разведки.

В будущем Changan Automobile и дальше будет применять Apache Doris в производстве этикеток и индикаторов для удовлетворения следующих потребностей:

• Автоматически определять «горячие» и «холодные» данные: хранить «горячие» данные в Apache Doris , холодные данные хранятся в Hive середина,проходить Этот подход более эффективениздоступ к даннымиуправлять。
• Расширить сферу бизнеса: до существующих из Doris бизнес SQL Код оптимизирован для использования Doris из определенных функций и функций, которые подойдут для миграции, приехать с этими функциями избизнеса Doris В целях повышения эффективности обработки данных и запросов.
• Создавайте сообщество вместе: активно пытайтесь использовать Doris Последняя версия и новые функции,Идя в ногу с сообществом,Постоянно исследовать и применять новые технологии,Обратная связь с сообществом и внесение вклада в его развитие.

Наконец, искреннее спасибо сообществу Apache Doris и технической команде Flywheel Technology за активную поддержку.,Надеемся на дальнейшее углубленное сотрудничество с вами в будущем.,Содействие интеллектуальному развитию Changan Automobile,Предоставьте пользователям лучший опыт вождения!