​Теория проектирования хранилищ данных

1. Иерархическое планирование хранилища данных.

Отличная и надежная система хранилища данных требует хорошей иерархической структуры данных. Разумное многоуровневое распределение может сделать систему данных более понятной и упростить сложные проблемы. Ниже приведен стандартный многоуровневый план.

2. Процесс построения хранилища данных

Ниже приведен полный процесс создания хранилища данных:

1. Исследование данных

Исследование данных фокусируется на двух задачах, а именно бизнес-исследованиях и анализе спроса. Адекватное выполнение этих двух задач напрямую повлияет на качество хранилища данных.

1) Бизнес-исследования

Основная цель бизнес-исследований –Знаешь бизнес-процессы、Знание бизнес-данных。

Знаешь бизнес-процессытребуется сделать,Уточнить конкретные процессы каждого бизнеса,Этот бизнес должен быть Включатькаждогобизнес-процессПеречислите их один за другим。

Знание бизнес-данныхтребуется сделать,Соответствие данных (включая журналы скрытых точек и таблицы бизнес-данных) бизнес-процессу.,Проясните, на какие данные таблиц будет влиять каждый бизнес-процесс,и какое влияние это оказывает. влияние,Нужно быть конкретным,это добавить новый фрагмент данных,Или изменить часть данных?,И необходимо уточнить новое содержание или логику модификации.

2) Анализ спроса

Типичные индикаторы спроса включают общее количество заказов на категории мобильных телефонов в каждой провинции за последний день.

При анализе потребностей,Необходимо уточнить необходимые требованиябизнес-процессиРазмеры,Например, бизнес-процесс, необходимый для выполнения этого требования, — заказ покупателя.,Требуемые размеры имеют дату,провинция,Категория продукта.

3) Резюме

После завершения бизнес-анализа и анализа спроса необходимо убедиться, что для каждого спроса можно найти соответствующий бизнес-процесс и измерения. Если существующие данные не могут удовлетворить потребности, вам необходимо связаться с бизнес-стороной. Например, на определенной странице необходимо добавить скрытую точку для определенного поведения.

2. Уточните предметную область

В дополнение к горизонтальному иерархическому построению модели хранилища данных обычно также требуется вертикальное разделение предметных областей в зависимости от бизнес-условий.

Смысл разделения предметной области состоит в том,Облегчает управление данными и их применение.。

Обычно его можно разделить по бизнес-процессам или отделам или по бизнес-процессам. Следует отметить, что бизнес-процесс может принадлежать только одной области данных.

3. Постройте матрицу бизнес-шин

Матрица бизнес-шины содержит все факты (бизнес-процессы) и измерения, необходимые для многомерной модели, а также взаимосвязь между каждым бизнес-процессом и каждым измерением. Строки матрицы — это бизнес-процессы, столбцы матрицы — измерения, а пересечения строк и столбцов представляют отношения между бизнес-процессами и измерениями.

Бизнес-процесс соответствует таблице транзакционных фактов в многомерной модели, а измерение соответствует таблице измерений в многомерной модели. Поэтому процесс построения матрицы бизнес-шины — это процесс проектирования размерной модели. Однако следует отметить, что матрица шины обычно содержит только таблицы фактов транзакций, а два других типа таблиц фактов необходимо разрабатывать отдельно.

В соответствии с процессом разработки таблицы фактов транзакций,выбиратьбизнес-процесс->Детализация декларации->подтверждать Размеры->подтверждатьфакт,Получена окончательная матрица бизнес-шины.

4. Уточнить статистические показатели

Конкретная работа по уточнению статистических показателей заключается в проведении углубленного анализа потребностей и построении системы показателей. Основное значение построения системы показателей заключается в стандартизации определений показателей. Определения всех показателей должны соответствовать одному и тому же набору стандартов, что позволит эффективно избежать таких проблем, как двусмысленность в определениях показателей и дублирование определений показателей.

1) Понятия, связанные с системой показателей

(1) Атомные индикаторы

Атомарные индикаторы основаны на определенномбизнес-процессизизмерять значение,Это показатель, который невозможно разобрать в определении бизнеса.,Атомные индикаторыиз Основная функция – сравнение показателейизлогика агрегированияопределенный。мы можем сделать вывод,Атомный индикатор Включить три элемента,Они естьбизнес-процесс、измерять значениеилогика агрегирования。

НапримерОбщая сумма заказаПросто типичный примериз Атомные индикаторы,визбизнес-процесс Разместить заказ для пользователя、измерять значение - сумма заказа, логика агрегирования находит сумму для sum(). Следует отметить, что атомарные индикаторы используются только для определения концепции индикаторов.,Обычно нет реальной статистической необходимости соответствовать этому.

(2) Производные показатели

Производные индикаторы основаны на атомарных индикаторах, и их взаимосвязь с атомарными индикаторами показана на рисунке ниже.

В отличие от атомарных показателей, производные показатели обычно соответствуют фактическим статистическим потребностям. Пожалуйста, поймите значение стандартизации определений индикаторов из примера на рисунке.

(3) Производные показатели

Производные показатели составляются посредством различных логических операций на основе одного или нескольких производных показателей. Например, соотношение, пропорция и другие виды показателей. Производные показатели также будут соответствовать фактическим статистическим потребностям.

2) Значение системы индикаторов для моделирования хранилища данных.

Из приведенных выше двух конкретных случаев видно, что большинство статистических требований можно определить с использованием набора стандартов атомарных показателей, производных показателей и производных показателей. В то же время можно обнаружить, что эти статистические требования прямо или косвенно соответствуют одному или нескольким производным показателям.

При наличии достаточного количества статистических требований неизбежно возникнут ситуации, когда производные показатели, соответствующие некоторым статистическим требованиям, будут одинаковыми. В этом случае мы можем рассмотреть возможность сохранения этих общедоступных показателей. Основная цель этого — сократить количество повторных вычислений и улучшить возможность повторного использования данных.

5-мерный дизайн модели

Размеры Модельиздизайн参照：Основы больших данных: теория моделирования размеров — Таблица размеров — Блог CSDN

Примечание. Таблицы фактов хранятся на уровне DWD, а таблицы измерений — на уровне DIM.

6 Разработка сводной модели

При разработке сводной модели можно использовать составленную выше систему показателей (в основном производные показатели). Соответствующая связь между сводными таблицами и производными показателями такова:,Резюместол обычноВключатьбизнес-процесстакой же、Статистический период тот же.、статистическая детализациятакой жеизМножественные производные индикаторы。

​