3 и 4 декабря успешно завершилась конференция Apache IoTDB по экосистеме Интернета вещей 2022 года. На конференции была представлена распределенная версия 1.0 Apache IoTDB, а также были представлены практические примеры технологии управления данными и сценариев Интернета вещей, реализованные с помощью Apache IoTDB. Также подробно обсуждалось, как компании Apache IoTDB и IoT могут совместно создавать активную экосистему и как компании. может тесно сотрудничать с сообществом разработчиков программного обеспечения с открытым исходным кодом и добиться беспроигрышной ситуации.
Мы пригласили Чжоу Цзюн, вице-президента JD.com и руководителя бизнес-подразделения Интернета вещей, принять участие в этой конференции и выступить с основным докладом «База данных временных рядов в эпоху Интернета всего». Ниже приводится полный текст отчета.
Оглавление
Наступила эра Интернета всего
Практика JD Technology в сфере Интернета вещей
База данных временных рядов для сценариев Интернета вещей
прогноз на будущее
Дорогие гости и друзья, всем привет, я Чжоу Цзюн из JD Group. С наступлением эры Интернета всего, базы данных временных рядов становятся все более важными, поэтому сегодня мы поделимся с вами своими взглядами на эту тему.
01
Наступила эра Интернета всего
Давайте сначала посмотрим на несколько наборов данных. Согласно статистике Министерства промышленности и информационных технологий, в августе этого года количество подключений к Интернету вещей China Mobile превысило количество пользователей мобильных телефонов. вступила в эпоху сверхчеловеческих вещей. С быстрым ростом оборудования объем данных также будет расти в геометрической прогрессии, и в будущем данные IoT станут основным источником глобальных данных Интернета.
02
Практика JD Technology в сфере Интернета вещей
Давайте посмотрим на Практика JD Technology в сфере Интернета Ситуация с развитием и накоплением технологической стратегии JD, JD наука и техника Интернет Платформа вещей может подключать более 200 миллионов устройств, включая более 200 типов устройств и более 4000 моделей устройств, и имеет более 1000 партнеров Jingdong science. и техника Интернет Платформа «Вещи» безопасна, надежна, высокопроизводительна, открыта и гибка и может гибко использоваться в To C и To B различные сценарии Интернета вещей.
В промышленности Интернет В сфере вещей мы интегрируем облачные вычисления, Интернет. вещейбольшойданные、AI、Блокчейн и другие передовые технологии,Создайте четыре цифровых двигателя: промышленный мозг, мозг цепочки поставок, производственный мозг и двойной углеродный мозг.,И построить экосистему приложений для всей цепочки поставок на верхнем уровне.,Откройте всю цепочку производства и продаж,Помогите предприятиям осуществить цифровую модернизацию и координировать производство и маркетинг.
Предлагая цель достижения пика выбросов углерода и углеродной нейтральности,,Энергосбережение и сокращение выбросов углекислого газа стали всеобщим консенсусом,В области энергетики с двойным углеродом мы создали промышленные промежуточные платформы, платформы управления интернет-вещами и платформы интеллектуальных энергетических услуг.,Создать единую конструкцию и общий интеллектуальный парк и энергетическую двухуглеродную платформу.,Повысить уровень управления парком и способствовать принятию производственных решений.,Достичь энергосбережения и сокращения выбросов углекислого газа.
JD.com Technology уже много лет активно участвует в разработке умного дома. Мы создали кроссплатформенную и межкатегорийную экосистему IoT для умного дома на основе платформы Xiaojingyu Smart Home, опираясь на возможности электронной коммерции JD.com. Платформа, мы предоставили тысячам людей большое количество умных продуктов, отвечающих потребностям различных сценариев умной жизни.
В сфере цифрового склада,Сосредоточение внимания на основном центре оптовой промышленности,Интеграция Интернет-вещей, искусственного интеллекта и других технологий для создания цифрового складского решения для полного технологического контроля грузов и полного категорийного контроля.,И на основе этого мы будем расширять торговые и финансовые услуги.,В основном это цифровые складские решения для цветных металлов, строительных продуктов, сухих запчастей, товаров холодовой цепи и т. д.,Конечно, есть решения и продукты, реализованные и в других областях.,Я не буду здесь вдаваться в подробности.
03
База данных временных рядов для сценариев Интернета вещей
Итак, эти Интернет Каковы характеристики сцены вещей? Через различные Интернет Вещи анализа сцены, мы можем разместить Интернет Основные типы данных вещей разделены на четыре категории.,Одним из них является данные о типе датчика.,Например, речь идет о сенсорной информации, такой как температура и влажность, давление и скорость автомобиля.,Для него характерны низкие и высокие частоты.,Огромный объем данных в режиме реального времени. Второе — данные о работе оборудования.,В том числе сам аппарат и периферийная диагностика.,Он характеризуется высокой частотой, работой в режиме реального времени и огромным объемом. Третий — данные аудио и видеоизображений.,Есть камеры и пограничные узлы.,Он характеризуется работой в режиме реального времени, стабильной, высокой производительностью и большой памятью.,Последний тип данных — это промежуточные данные, созданные на основе обработки исходных данных.,В основном используется, чтобы помочь руководству принимать решения.,Обычно отчет о типе анализа данных,Он характеризуется низкой частотой, небольшим объемом и нереализуемостью. в общем,Основные функции данных — это массивность, последовательная работа в режиме реального времени, простота приобретения и динамическая ликвидность.,мы можем это видетьДанные временных рядов занимают наиболее важный объем。
Тайминг Интернет вещей имеет следующие типичные характеристики:,Первый из них – этоИсточник коллекции един и стабилен.,Интернет данные и кроме собранного вещей оборудования тогоодин设备采集изданныеполностью независим,Другими словами, существует только один производитель устройства.,Чтоданныеисточник уникален。Вторая особенность – это егоМасштаб данных огромен,Интернет Вещи Количество техники огромное, 24 часа непрерывного производства данных,поэтомуданные规模远远большой于传统из互联网изданныеколичество。Третья характеристика –Пишите больше и читайте меньше,Для интернет-приложений запись данных часто записывается один раз и считывается много раз.,Данные, генерируемые оборудованием Интернет-вещей, обычно считываются при анализе тенденций или неисправностей.,Не буду часто читать оригинал.данные。Четвертая характеристика –местная автономия,Периферийные вычисления — важная тенденция в будущем развитии Интернета вещей,Обработку данных временных рядов в режиме реального времени необходимо выполнять локально.,Агрегация в облаке — это просто высокоструктурированная агрегация.данные。окончательносинтез в реальном времени,Данные синхронизации IoT часто требуют реальном времени Агрегационный анализ может получить нужную нам информацию.。
существовать Интернет Вещи, данные о времени домена везде, База данных временных рядов имеет очень широкие перспективы применения,Например, Интернет транспортных средств, мониторинг состояния транспортных средств и дорог, мониторинг заводского оборудования и мониторинг распределенной новой энергии.,Отслеживание товаров и мониторинг состояния услуг удаленного центра считывания показаний счетчиков и т. д. Для этих сценариев применения мы видим, что обработка временных рядов IoT имеет четкие цели.,Первая цель –Возможности высокого параллелизма и высокой пропускной способности записи,Может поддерживать десятки миллионов в секундуданные Написание точек。Второй – этоЭкономичная обработка,Из-за Интернета Огромный объем данныхных вещей должен снизить стоимость огромных хранилищ данных и обеспечить высокую степень сжатия. Третья — потоковая передача,Таймингданныечасто требуетсяпотоковая передача,И из-за огромного количества данных,Стоимость одной информации очень велика,Выполните расчет с помощью База данных временных рядов Первый этажданные Прямая стыковка может повысить эффективность обработки.。ЧетвертыйРаспределенная высокая доступность,Распределенная архитектура может поддерживать горизонтальное расширение огромных объемов данных.,и высокая доступность системы。В-пятых, нам нужна поддержкаСовокупный анализ запросов в реальном времени。
Для одновременного достижения пяти вышеуказанных целей обработки традиционные базы данных часто имеют недостатки. Поэтому для устранения этих недостатков срочно необходима специализированная база данных временных рядов. Согласно данным DB-Engines, всемирно известного сайта рейтинга популярности баз данных, мы видим, что внимание к базам данных временных рядов продолжало занимать первое место в течение последних двух лет и продолжает расти. Рынок баз данных временных рядов также находится в полном расцвете: постоянно появляются различные новые базы данных временных рядов. Среди них очень очевидна тенденция к росту многих превосходных отечественных баз данных временных рядов, таких как Apache IoTDB.
Более репрезентативная база данных временных рядов в области Интернета вещей: Apache IoTDB,IoTDB Предназначен для Интернета вещей Разработанный База данных временных рядов, с высокой производительностью и богатым набором функций, отвечающих требованиям промышленного Интернета. вещей领域из海количестводанныехранилище,Потребности в высокоскоростной записи данных и сложном анализе данных,Предоставляйте универсальные решения для облачных и периферийных устройств.,具有八большой特点:открытая архитектура системы,海количестводанныеизхранилище,Поддержка эксклюзивной модели Интернет-вещей,Поддержка совместной работы в облаке,Чрезвычайно высокая степень сжатия и эффективные возможности запросов.,Имеет эффективный двигатель хранилища и богатую экологию.。
в настоящий момент IoTDB На JD.com уже есть два сценария реализации. Один из них — проект по энергетике. Для проекта требуется более 50 миллионов точек измерения, и он может записывать десятки миллионов записей в секунду. и объем хранилища данных, который должен достичь 5 лет и старше,Может поддерживать статистику временных окон и возможности обработки миллионов записей в секунду.,в то же время Поддержка совместной работы в облаке。
кроме того IoTDB Он также используется в небольших масштабах для статистики воды, электричества и газа в системе умного дома JD. настоящий моментКоличество точек измерения доступа 100 Более 10 000, скорость записи около 45 Десять тысяч штук в минуту, на складе 32 Сотни миллионов фрагментов данных должны поддерживать запросы агрегирования шести операторов и пяти временных измерений.,проходить IoTDB приложения, мы улучшили производительность при одновременном снижении затрат.
04
прогноз на будущее
Забегая вперед, мы считаем, что База данных временных Развитие рядов происходит главным образом в следующих аспектах. Во-первых, облачный родной,Вычислительные хранилища могут поддерживать упругое расширение,может быть основано наоблачный роднойСтек технологий продолжает развиваться и автоматизировать развертываниеи Эксплуатация и обслуживание。затемРазнообразие и интеграция,будущее База данных временных библиотека рядов и реляционных данных, KV данные Столь же глубокая интеграция,Обеспечить единый интерфейс для прикладного уровня.,让用户处理各类型изданные更加из便捷。Третийв реальном временипотоковая передача,Реализуйте потоковые вычисления данных в реальном времени с помощью гибкого программирования.,从而极большой减少读放большойи写放большойиз影响。ЧетвертыйРаспределенная высокая доступность,Продукт должен иметь высокую надежность и высокую доступность промышленного уровня.,поддерживатьданныеизв реальном временирезервное копированиеи Удаленное аварийное восстановление。ПятыйНаблюдаемый и простой в обслуживании,Система должна иметь хорошую наблюдаемость,Имеет полную систему мониторинга, эксплуатации и обслуживания.,Может быть легко развернут в различных средах.,并且长期Эксплуатация и обслуживание也能相对из简单。окончательноЗакупка, хранение и расчет – все в одном,Мы считаем, что ценность приложения является движущей силой,использовать Закупка, хранение и расчет – все в Развитие цифровизации может значительно снизить стоимость цифровизации.
В целом возможности и проблемы сосуществуют, и отечественные базы данных временных рядов, несомненно, будут востребованы! Спасибо всем.