Цифровая трансформация в основном включает в себя несколько этапов: оцифровка бизнеса, капитализация данных, бизнесизация активов и бизнес-аналитика. Какие информационные продукты необходимы на разных этапах? Сегодня я проанализирую их один за другим. Я надеюсь, что это может стать справочной информацией для всех руководителей при планировании их продуктов в процессе цифровой трансформации. В основном основное внимание уделяется планированию модулей. Подробные функции и логика реализации продуктов почти. все по одному описано в предыдущих статьях.

1. Продукты, связанные со сбором данных

Оцифровка имеет два значения. Одно из них — онлайн, что означает оптимизацию оффлайновых и ручных неэффективных бизнес-процессов в прошлом, чтобы повысить эффективность работы человека и создать основу для сбора данных. Второй — это оцифровка, которая собирает данные онлайн-бизнес-процессов, чтобы предоставить базовые источники данных для последующего бизнеса и аналитики. Таким образом, в среде сбора данных основные задействованные продукты данных включают в себя:

1. Объем сбора данных и стандартное определение (обязательно)

В конце концов, в интернет-индустрии известен термин «скрытые точки», и скрытые точки также являются «болью» для многих компаний. Зарытые точки не стандартизированы, а данные полны слез. Сначала загрязнение, а затем очистка неизбежно приведет к пустой трате ресурсов на последующую очистку приложений данных. Поэтому, чтобы избежать ошибок, необходимо заранее установить спецификации сбора данных для различных источников и типов данных. Для таких продуктов, как приложения и мини-программы, необходимо установить унифицированные спецификации отслеживания и планы сбора данных. Другое интеллектуальное оборудование, датчики. Необходимо установить оборудование или сторонние источники данных. Требования определяют форматы передачи данных из разных источников.

2. Система управления точками захоронения (опция)

Интегрируйте спецификации захоронения точек в серверную часть управления данными, чтобы весь процесс захоронения точек проходил в режиме онлайн, улучшайте стандартизацию работы по захоронению точек и уменьшайте количество пропущенных и ошибочных захоронений. Даже если некоторые системы анализа поведения пользователей не поддерживают скрытых точек или визуальных скрытых точек, существуют модули управления данными скрытых точек, которые предоставляют возможности определения индикаторов на основе интерфейса. Вначале правила захоронения точек в основном передавались из поколения в поколение через Excel.

3. Система синхронизации или интеграции данных (обязательно)

Этот модуль может существовать отдельно или в сочетании с платформой разработки больших данных. Его основная функция — обеспечить функцию сквозной синхронизации данных, то есть выбрать источник данных и цель, с которой данные должны быть синхронизированы. и для установки различных источников и целей достаточно параметров, частоты планирования задач и стратегии. Одно из самых модных слов в наши дни — озеро для ввода данных с помощью одной клавиши. Автоматизация одним щелчком мыши передает неструктурированные (аудио, видео и т. д.) и структурированные данные в центральное озеро данных для последующей обработки и потребления. Возвращаясь к упомянутому ранее примеру с кулинарией шеф-повара, инструменты интеграции данных подобны автоматизированным инструментам сбора урожая. В прошлом из-за ручного труда количество и тип ингредиентов были ограничены. После механизированного производства богатство продуктов значительно улучшилось.

2. Обработка и инструменты обработки данных

1. Офлайн-платформа разработки (обязательно)

Данные, собранные в озере, необходимо обрабатывать, чтобы проявить свою ценность, особенно для интегрированной архитектуры озера и хранилища, которая предполагает разработку модулей хранилища данных для структурированных данных. Выполняйте ETL-обработку данных в соответствии с логикой бизнес-требований и выводите модели данных одну за другой. К основным функциям платформы офлайн-разработки следует отнести:

хранилище&Вычислительный уровень：Автоматизированное распределение ресурсов（В основном планирование ресурсов кластера）,Основная специализация «Разработка данных» — «Бизнес-логика».,Нет необходимости всем иметь набор Hadoop

Уровень разработки задач:IDEВизуальная разработка задач,В дополнение к основной логике обработки данных, требующей реализации кода,Другие настройки параметров могут быть настроены,Платформа должна поддерживать общие типы задач разработки и анализа данных, такие как Hive, Shell и Python.

Планирование задач:Данные имеют строгие восходящие и нисходящие отношения.,Только после успешного выполнения задачи восходящего потока данных и завершения обработки данных.,Данные ниже по течению точны,Таким образом, общие задачи не существуют сами по себе.,Необходимо установить зависимости,также,Периодические данные нельзя щелкать вручную каждый день.,Еще нужно время, чтобы составить расписание,Установите, следует ли выполнять каждую минуту, час или день и месяц в соответствии с вашими потребностями.,В какое время выполнять и т.д.

Задача эксплуатации и обслуживания:Изменить логику、Ошибка в восходящем потоке、Нестабильные ресурсы кластера часто требуют обратного отслеживания данных.、Перезапуск задач и другие операции выполняются в пакетном режиме.、Автоматизированные операции могут сэкономить много времени на эксплуатацию и техническое обслуживание.

2. Платформа разработки в реальном времени (обязательно)

Данные в реальном времени в основном отвечают потребностям мониторинга данных в реальном времени, поиска в реальном времени, рекомендаций или сценарного маркетинга в реальном времени на стороне продукта. Основное различие между разработкой в ​​реальном времени и автономной разработкой заключается в технических компонентах. Функциональные модули продукта аналогичны и также могут быть интегрированы для формирования единого интегрированного пакетного потока. Платформа для разработки и обслуживания больших данных.

3. Инструменты построения хранилища данных (необязательно)

В основном он интегрирует спецификации и процессы разработки модели данных в систему. Это идея с низким кодом, которая сокращает разработку кода разработки моделирования хранилища данных и улучшает стандартизацию и возможность повторного использования модели. Например, Datapin от Alibaba имеет преимущество. систематизация Удобно управлять процессом моделирования заранее, вместо того, чтобы сначала загрязнять, а потом лечить. Недостаток в том, что он может быть не таким гибким, как разработка и написание собственного кода, поэтому его можно использовать как дополнительный модуль.

3. Продукты для управления и контроля данных

1. Карта данных (обязательно)

Вино также боится глубоких переулков. Как только модель данных будет разработана, ее можно будет найти и использовать для улучшения возможности повторного использования. Карта данных обеспечивает возможность просмотра и поиска данных посредством совместного использования каталога активов и мощных возможностей поиска данных. В то же время это требует глубоких знаний. Информация метаданных модели позволяет потребителям данных быстро определить, нужны ли им данные и как их использовать.

2. Мониторинг качества данных (обязательно)

Можно сказать, что неточные данные являются одной из самых неприятных проблем для бизнеса и групп данных. Бизнес боится использовать данные после их получения. Давайте сначала спросим, ​​точны ли данные после прочтения. задачи и глядя на код, все должно быть в порядке. Мониторинг качества данных создает богатую и гибкую конфигурацию правил качества данных и автоматические возможности раннего предупреждения, основанные на таких аспектах, как согласованность, своевременность, полнота и точность, что делает разработчиков данных более уверенными. Пока мониторинг не вызывает тревогу, они могут похлопать себя по груди. скажите, да какие изменения произошли в бизнесе?

3. Происхождение данных (обязательно)

В основном решает проблему отслеживания источника данных,Например, аномалии данных,Необходимо уведомить перерабатывающий бизнес,Необходимо перейти в автономный режим или удалить во время управления данными.,Кто-нибудь ниже по течению использует его?,Если у вас нет кровных уз, вы не осмелитесь управлять.,данные&Услуги только увеличиваются, а не уменьшаются。

4. Оптимизация стоимости данных (обязательно)

Хотя все по умолчанию считают отдел данных центром затрат, в эту холодную зиму мы должны затянуть пояса. Хотя мы не можем открыть исходный код, мы должны сократить расходы. Данные, которые не использовались в течение длительного времени, могут быть заархивированы или удалены. и какие задачи имеют крайне низкую производительность SQL. Задача выполняется более 10 часов и потребляет много ресурсов процессора и графического процессора? Основная цель оптимизации затрат на данные — создать систему оценки состояния данных, автоматически определить цели управления и обеспечить автоматизированные действия по управлению, такие как архивирование и удаление, тем самым высвобождая ресурсы сервера и выполняя вычитание на регулярной основе.

5. Унифицировать права доступа к данным (обязательно)

Проблемы безопасности данных связаны с жизнью и смертью предприятия, а также с «денежным путем» группы данных. Унификация разрешений в основном устанавливает соответствующий процесс для подачи заявок на получение разрешений на активы данных, авторизации и аудита, чтобы гарантировать, что данные являются и тем, и другим. общий и безопасный.

4. Принятие решений на основе данных и интеллектуальные приложения

1. Анализ визуализации данных (обязательно)

В основном это относится к отчетам по тематическому анализу данных, которые можно кастомизировать или настроить на основе инструментов BI самообслуживания. Его основная цель — предоставить возможности визуального анализа для основной системы показателей бизнес-операций и управления. Вы не можете позволить своему начальнику каждый день использовать функцию перетаскивания BI самообслуживания. Например, некоторые панели управления кабины управления или большие визуальные экраны.

2. Современный BI-анализ самообслуживания (обязательно)

После того, как компания Tableau была приобретена отделом продаж за 15,7 миллиардов долларов США, в конце 21 года она объявила об уходе с китайского рынка. Как создатель инструментов BI, ее функции очень полны и мощны. Почему она так популярна? Основная причина заключается в том, что его целевыми пользователями являются аналитики данных. Сложность функций приводит к высоким затратам на обучение и понимание. Эпоха цифровой трансформации требует демократии данных и инклюзивности. Поэтому по сравнению с Tableau в настоящее время. Внутренний рынок Некоторые поставщики облачных технологий (QuickBI, Volcano Engine и т. д.) и продуктов BI (Guanyuan Data) могут лучше удовлетворять потребности непосредственного бизнес-персонала в использовании данных. Благодаря современному бизнес-аналитике сотрудники, работающие с данными, сосредотачиваются на разработке моделей и инфраструктуры данных, в то время как бизнес-персонал перетаскивает анализ и настраивает свои собственные визуальные информационные панели. Они больше не полагаются исключительно на временный поиск SQL или разработку настраиваемых визуальных страниц.

3. Система анализа поведения пользователей (опционально)

В 2015 году, когда были популярны теории роста пользователей и взлома роста, многие малые и средние интернет-компании приобрели системы анализа поведения пользователей, такие как Shence и GrowingIO. Его преимущество состоит в том, что он может предоставить возможность собирать данные о поведении пользователей посредством анализа самообслуживания, но уровень данных больше ориентирован на данные о трафике и имеет относительно слабую поддержку других данных бизнес-системы. Современный BI самообслуживания может включать модельные данные о поведении пользователей, что делает его более инклюзивным.

4. CDP или DMP цифрового маркетинга (обязательно)

Основываясь на технологиях обработки больших данных и интеллектуального анализа данных, мы создаем систему маркировки портретов пользователей, отбираем пользователей, уточняем стратификацию, осуществляем дифференцированные операции и маркетинговые контакты, а также повышаем операционную рентабельность инвестиций. На основе платформы студенты-бизнесмены могут реализовать замкнутый цикл от выбора толпы, построения сцены, доставки охвата и восстановления эффекта. В то же время на основе тегов интеллектуального анализа алгоритмов и рекомендованных моделью комбинаций толпы, от операций, основанных на человеческом опыте, до рекомендуемые операции на основе алгоритмов больших данных. Интеллектуальная работа. Как правило, операции с трафиком частного домена внутри предприятий называются CDP (платформа управления клиентскими данными), а компании, которые монетизируют трафик, называются DMP (платформа управления данными), например Tencent Guangdiantong и Alibaba Damopan.

5. Алгоритмическая платформа (опционально)

Высокий уровень цифровой трансформации — это интеллект. Если вы хотите, чтобы разработка услуг искусственного интеллекта была более эффективной, даже продукты и операции могут быть настроены с помощью интерфейса службы рекомендаций. В настоящее время могут пригодиться платформы машинного обучения или алгоритмов. Для разработки алгоритмов он в основном предоставляет рабочую среду для всего процесса, начиная от планирования ресурсов (ЦП, графического процессора и т. д.), автономного сбора данных, разработки функций, обучения модели и служб вывода, тем самым улучшая возможность вывода алгоритма. на тайваньский манер, да еще через Сервис безкодового алгоритма, реализуемый путем перетаскивания узлов модели, находится в сети.

6. Управление службами данных (опционально)

Некоторые люди также называют центр обработки данных DAAS, что означает «данные как услуга». Как можно быстро экспортировать данные в бизнес-конец, чтобы расширить возможности инноваций в продуктах. Службы API управляются унифицированным образом, обеспечивая полную взаимосвязь приложений, предоставляя возможности создания конфигурации для общих интерфейсов и снижая зависимость от разработки Java. Согласно идее промежуточной платформы данных, вывод API службы данных является основной формой вывода приложения. С одной стороны, платформа управления службами данных должна иметь возможность самостоятельной настройки и вывода активов данных, то есть. Хранилище данных очистило модель данных, разработку данных или бизнес-персонал. Интерфейс API можно создать посредством визуальной конфигурации входных и выходных параметров без необходимости вмешательства в разработку интерфейса. В то же время также необходимо управлять активами API и обеспечивать отслеживаемость и мониторинг документов интерфейса API и вызовов приложений.

5. Резюме

Определение продуктов широких данных заключается в том, что любые сопутствующие продукты, которые могут повысить эффективность всего процесса сбора, хранения, управления, расчета и использования данных, а также способствовать получению ценности данных, могут быть отнесены к соответствующим продуктам данных. В процессе цифровой трансформации есть большие и маленькие модели, но общая матрица продуктов аналогична. И теперь почти в каждом сегменте существуют зрелые версии коммерческих продуктов для обработки данных. В процессе фактической цифровой трансформации предприятия могут всесторонне оценить, какие из них выбрать для аутсорсинга, исходя из ресурсов НИОКР, инвестиционного времени и финансовых затрат, безопасности данных и других аспектов. разрабатываются независимо.