Руководство по началу работы для инженера по разработке/хранилищу данных (7) Спецификации и процессы построения слоев CDM-DWS

Предисловие

Мы вошли в последний уровень в конце уровня общедоступных данных CMD — уровень DWS. Этот уровень в основном напрямую и тесно связан с бизнесом. То есть с требованиями, выдвигаемыми к продукту, будь то отчеты. Статистика портрета пользователя или большие экраны данных — все это здесь. Данные обрабатываются на одном уровне, а затем помещаются на уровень ADS. Затем нам нужно только оборудовать соответствующий источник данных в BI. Уровень DWS понятен и прост в построении — это проверка нашего слоя ODS и качества моделирования слоев DWD и DIM. Как правило, мы также можем начать с уровня DWS, то есть результатов со стороны спроса, чтобы по-другому рассуждать об уровнях ODS и DWD, которые нам нужно построить. Короче говоря, уровень DWS требует от нас тщательного размышления, и мы должны быть осторожны. о вещах, которые необходимо произвести.

1. Понимание уровня DWS

Уровень DWS предназначен для обеспечения эффективного и быстрого доступа к агрегированным данным для бизнес-анализа. Этот уровень моделируется на основе предметных объектов анализа, обеспечивая сводное представление ключевых показателей для поддержки принятия решений и анализа приложений верхнего уровня. Создавая таблицы фактов с общей детализацией из агрегированных показателей, уровень DWS может помочь выявить тенденции, закономерности и аномалии.

Необработанные данные можно сравнить с деталями каждой улицы и здания на карте города, а слой DWS — со сводкой трафика в навигационном приложении. Он сообщает вам, где интенсивное движение, самые плавные маршруты и расчетное время прибытия, вместо того, чтобы просить вас рассмотреть ситуацию на каждой улице.

Если рассматривать подробные данные как все новостные события, произошедшие в течение дня, то слой DWS — это сводка вечерних новостей. Он извлекает самые важные заголовки и тенденции из большого количества новостей, позволяя вам понять самую важную информацию за короткое время без необходимости читать все новостные сводки.

2. Принципы проектирования DWS

В качестве примера мы по-прежнему берем портреты кредитного анализа поставщиков тендерного бизнеса. При построении аналитического портрета каждого поставщика для тендерного бизнеса уровень DWS должен обеспечить комплексную перспективу анализа путем агрегирования многомерных данных, связанных с поставщиками. .

Всего существует пять уровней принципов проектирования DWS:

2.1 Моделирование агрегирования по темам

• Анализ тем：Моделирование на основе моделей поведения поставщиков во время тендерного процесса,Обеспечить комплексную аналитическую поддержку。
  • При создании портрета поставщика,Цели анализа могут включать в себя：
    • Количество предложений поставщиков：Понимать деятельность поставщиков, участвующих в тендерах。
    • Процент выигрышей в торгах：Оцените показатели успеха поставщиков в различных проектах。
    • средняя сумма ставки：Измерьте конкурентоспособность предложений поставщиков。
    • Тип проекта сотрудничества：Определите типы проектов, в которых в первую очередь участвует поставщик.。
    • географическое распределение：Анализ географического распределения участия поставщиков в проектах。
• Оформление сводной таблицы：Создайте сводную таблицу, ориентированную на поставщиков.,Содержит несколько ключевых показателей.
• Например, сводная таблица эффективности поставщиков: - supplier_id：Уникальный идентификатор поставщика supplier_name：Имя поставщика num_bids：Количество ставок num_wins：Количество выигравших ставок win_rate：Процент выигрышей в торгах（num_wins / num_bids） total_bid_amount：общая сумма ставки avg_bid_amount：средняя сумма ставки num_project_types：Количество задействованных типов проектов num_provinces：Количество участвующих провинций active_period：активный период（Например,Дата последней заявки) 2.2 Объединение фактов, которые не охватывают
• согласованность данных：Убедитесь, что агрегированные данные соответствуют исходной модели данных.,Не агрегируйте данные по нескольким таблицам фактов.
• одна таблица фактов：в одной таблице фактов（Например, таблица транзакций торгов）собраться на,Сохраняйте свою модель данных простой и последовательной.

2.3 Публикация данных

• Возможность совместного использования: убедитесь, что данные профилирования поставщиков могут поддерживаться несколькими бизнес-подразделениями и аналитическими приложениями.
• Общие измерения: сбор общих измерений (например, региона, типа проекта).,Улучшение производительности запросов

2.4 Не пересекает домены данных

• Изоляция данных: Ограничьте агрегацию данных доменом поставщика, а не другими бизнес-доменами (например, доменами проекта или контракта).

2.5 Различие статистических периодов

• Идентификация цикла: уточнить статистический цикл портретов поставщиков,Например"_1m"Кнопка логотипалунастатистика。
  • время Размеры：в соответствии слуна、четверть、Годовая статистика
  • область Размеры：в соответствии с Провинция、Краткое описание города

3. Процесс проектирования DWS

3.1 Уточнение целей анализа

Прежде чем разрабатывать таблицу DWS, сначала уточните цели анализа профиля поставщика. Общие цели анализа включают в себя:

• Деятельность поставщика в тендерах
• поставщика Процент выигрышей в торгах
• поставщикасредняя сумма ставки
• Географическое распределение деятельности поставщика
• Типы проектов, в которых участвует поставщик

3.2 Определить ключевые показатели и параметры

Определите ключевые показатели (факты) и измерения, необходимые для достижения целей вашего анализа.

Ключевые показатели (факты)

• Всего ставок：Общее количество заявок, поданных поставщиком。
• Количество выигравших ставок (Winning Bids)：Сколько раз поставщик успешно выиграл тендер。
• Процент выигрышей в торгах（Win Rate）：Количество выигравших ставок Доля от общего количества заявок。
• Общая сумма ставки：общая сумма всех ставок。
• средняя сумма ставки（Average Bid Amount）：средняя сумма за ставку。
• Типы активных проектов：Количество различных типов задействованных проектов。
• Географический охват：Количество задействованных различных регионов или провинций。

Размеры

• время Размеры：поддерживатьв соответствии снебо、луна、четвертьили год для анализа。
• география Размеры：Анализируйте деятельность в разных провинциях и городах。
• Тип проекта：Анализ участия в различных типах проектов。

3. 3 Разработка модели данных

На основании вышеуказанных показателей и размеров,Спроектируйте структуру таблицы DWS. Включите имена полей, типы данных и комментарии. Каждая структура таблицы отражает конкретные потребности бизнес-анализа.,И содержит необходимые поля и Размеры.

Выбор типа данных：Выберите подходящий тип данных в зависимости от характера данных.,Если сумма используетсяDECIMALчтобы обеспечить точность,Использование текстового поляVARCHAR。

Определение первичного ключа：Каждая таблица имеет набор первичных ключей, обеспечивающий уникальность и целостность данных.。

Оптимизация производительности：При необходимости индексы могут быть установлены для часто используемых полей запроса.,к Улучшение производительности запросов。

3.3.1 Сводная таблица эффективности поставщика

использовать：анализироватьпоставщика Общая производительность и модели поведения。

CREATE TABLE supplier_performance_summary (
    supplier_id INT PRIMARY KEY,                 -- Уникальный идентификатор поставщика
    supplier_name VARCHAR(255),                  -- Имя поставщика
    num_bids INT,                                -- Количество ставок
    num_wins INT,                                -- Количество выигравших ставок
    win_rate DECIMAL(5, 2),                      -- Процент выигрышей в торгах（Количество выигравших ставок/Количество ставок）
    total_bid_amount DECIMAL(18, 2),             -- общая сумма ставки
    avg_bid_amount DECIMAL(18, 2),               -- средняя сумма ставки
    num_project_types INT,                       -- Количество задействованных типов проектов
    num_provinces INT,                           -- Количество участвующих провинций
    last_active_date DATE                        -- Последняя активная дата
);

3.3.2 Сводная таблица типов проектов

использовать：Анализируйте заявки и выигрыши для разных типов проектов。

CREATE TABLE project_type_summary (
    project_type_id INT PRIMARY KEY,             -- Уникальный идентификатор типа проекта
    project_type_name VARCHAR(255),              -- Название типа проекта
    num_projects INT,                            -- Количество предметов
    total_bid_amount DECIMAL(18, 2),             -- общая сумма ставки
    avg_bid_amount DECIMAL(18, 2),               -- средняя сумма ставки
    num_wins INT,                                -- Победа в тендере Количество предметов
    win_rate DECIMAL(5, 2)                       -- Процент выигрышей в торгах（Победа в тендере Количество предметов/Количество предметов）
);

3.3.3 Сводная таблица региональных продаж

использовать：анализировать不同областьстатус продаж и ставок。

CREATE TABLE region_sales_summary (
    province_id INT PRIMARY KEY,                 -- Уникальный идентификатор провинции
    province_name VARCHAR(255),                  -- Название провинции
    num_bids INT,                                -- Количество ставок
    total_sales_amount DECIMAL(18, 2),           -- общая сумма продаж
    num_projects INT,                            -- Количество предметов
    avg_sales_amount DECIMAL(18, 2),             -- средний объем продаж
    top_supplier_id INT,                         -- Идентификатор поставщика с самыми высокими продажами
    top_supplier_name VARCHAR(255)               -- Имя с самыми высокими продажами поставщика
);

3.3.4 Сводная таблица периодов времени

использовать：анализировать不同время Эффективность бизнеса в течение цикла。

CREATE TABLE time_period_summary (
    time_period VARCHAR(10) PRIMARY KEY,         -- идентификатор периода времени (например, Q1, 2024）
    num_bids INT,                                -- Количество ставок
    total_bid_amount DECIMAL(18, 2),             -- общая сумма ставки
    avg_bid_amount DECIMAL(18, 2),               -- средняя сумма ставки
    num_wins INT,                                -- Количество выигравших ставок
    win_rate DECIMAL(5, 2)                       -- Процент выигрышей в торгах（Количество выигравших ставок/Количество ставок）
);