Введение:Power Когда BI обновляет данные, все файлы источников данных должны быть прочитаны каждый раз. Если файлов слишком много, обновление займет полдня... Можно ли это выполнить как добавочное обновление?
Прежде всего, добавочное обновление Power BI можно использовать только для некоторых баз данных, поддерживающих добавочный механизм (например, SQL Server), и его можно настроить только пользователями Power BI Pro или выше в службе Power BI Microsoft Cloud.
Однако большинство моих друзей (я один из них) не имеют учетной записи Pro в своей повседневной работе, не могут публиковать данные компании в облаке или могут использовать сервер отчетов Power BI только для локального развертывания и часто имеют различные данные. исходники. Особенно что делать с большим количеством файлов Excel?
В ответ на эту ситуацию я нашел «квазиинкрементный» метод обработки данных путем исследования. Надеюсь, он будет полезен друзьям, у которых есть большой объем исторических данных.
Многие друзья, возможно, заметили, что Power Queryдля каждого запроса,Есть два варианта функции——«Включить загрузку», «Включить в обновление отчета»:
Однако вы можете не до конца понимать его функции и детали, и это как раз одно из ключевых содержимых, которое мы можем использовать для «приращения» — конечно, есть и другое ключевое содержимое, которое будет обсуждаться позже.
первый,Включить загрузку проще понять, то есть данные будут загружаться в модель данных только тогда, когда отмечен этот флажок.:
Установите флажок «Включить в обновление отчета», и данные этого запроса будут обновлены при обновлении данных в Power BI:
Поняв основные функции этих двух опций, мы можем подумать, можно ли запретить большому объему исторических данных включаться в обновление отчета?
Например, у нас есть многолетние данные,тогда мы сможемПоместите все данные до этого года в «исторические данные», а данные этого года в «новые данные».,так,Когда отчеты обновляются,Данные истории не обновляются,Просто обновите данные за этот год.
Да, ядром является эта идея, но есть несколько вопросов, требующих дальнейшей проработки:
1. Как объединить исторические данные и новые данные для использования?
2. Загружены ли исторические данные в модель данных?
3. По прошествии времени (например, через пол года или год) некоторые "новые данные" будут перемещены в "исторические данные" и больше не будут участвовать в обновлении. Как с этим бороться?
В любом случае, давайте реализуем первый шаг — подключим исторические и новые данные к Power Query соответственно:
Шаг-01 Разделите данные на две папки: «Исторические данные» и «Новые данные».
Например: данные до апреля 2017 года используются в качестве исторических данных и не будут считываться повторно при последующем обновлении отчета.
Step-02 Импортируйте данные из двух папок в Power так же, как импортируйте данные из папок. Query
Исторические данные (его) и новые данные (новые) импортируются таким же образом.,Они все импортированы из папок,Затем добавьте пользовательскую формулу Excel.Workbook([Content],true) для ее анализа и расширения.,Друзья, кто с ним не знаком, могут посмотреть видео:Чистая вещь! Никакой ерунды! 10 эпизодов бесплатной потоковой передачи видео для упрощения обобщения различных данных таблиц Excel |
В этот момент некоторые друзья могут подумать: не правда ли, следующий шаг очень прост? Разве недостаточно выполнить «запрос на добавление» к новым данным и историческим данным, а затем исторические данные не загружаются и не обновляются?
Однако,Это не сработает! потому что,Как только новые данные ссылаются (запрос на добавление) на исторические данные, при обновлении новых данных исторические данные все равно будут обновляться вместе!——Рекомендуется настроить его самостоятельно и опробовать.,Углубите свое понимание.
Так что же делать? На самом деле это очень просто,Первый генералИсторические данные настроены на загрузку, но «не» включаются в обновления отчета:
Новые данные по умолчанию остаются доступными для загрузки и включаются в обновления отчета:
Затем,Загрузите оба результата запроса в модель данных, а затем в Power Создайте новую таблицу в BI и объедините данные из двух запросов с помощью формулы DAX UNION('his','new')!
На этом этапе, когда мы обновляем данные в Power BI, будут обновлены только данные в новом запросе (новая папка данных):
также,Потому что мы обобщили данные его и новых таблиц.,При последующем анализе данных нет необходимости использовать данные свои и новые.,так,мы можемСкрыть эти две части данных:
Наконец, если через некоторое время мы перенесем часть файла Excel «новых данных» в папку «исторические данные», то мы сможем вручную обновить «исторические данные» в Power BI:
На этом этапе были объяснены все ключевые рабочие моменты «добавочного» обновления данных Power BI, в том числе:
1. Создавайте запросы на основе исторических и новых данных;
2. Исторические данные настроены на загрузку, но «не» включаются в обновление отчета;
3. Используйте функцию объединения, чтобы объединить исторические данные и новые данные, создав новую таблицу в Power BI;
4. Скрыть исторические данные и новые данные;
5. При изменении исторических данных (переносе некоторых новых данных) вручную обновите исторические данные в Power BI.