Автор | Стив-Ян Виггерс

Переводчик |

Планирование | Дин Сяоюнь

Недавно Google объявил, что общедоступны федеративные запросы Bigtable, что позволяет пользователям быстрее запрашивать данные в Bigtable через BigQuery. Кроме того, запросам не нужно перемещать или копировать данные во всех регионах Google Cloud, что увеличивает ограничения на параллелизм федеративных запросов и, таким образом, устраняет давний разрыв между операционными и аналитическими данными.

BigQuery — это бессерверное мультиоблачное хранилище данных Google Cloud, которое упрощает анализ данных, объединяя данные из разрозненных источников. Cloud Bigtable — это полностью управляемая база данных NoSQL Google Cloud, которая в основном используется для чувствительных ко времени транзакционных и аналитических рабочих нагрузок. Последний подходит для различных сценариев, таких как обнаружение мошенничества в реальном времени, рекомендации, персонализация и временные ряды.

Раньше пользователям приходилось использовать инструмент ETL (например, Dataflow или собственный инструмент Python) для копирования данных из Bigtable в BigQuery. Теперь они могут запрашивать данные напрямую с помощью BigQuery SQL. Федеративные запросы BigQuery могут получать доступ к данным, хранящимся в Bigtable.

Чтобы запросить данные в Bigtable, пользователи могут создать внешнюю таблицу для источника данных Cloud Bigtable, указав URI Cloud Bigtable (доступный через консоль Cloud Bigtable). URI содержит следующее содержимое:

• Содержит идентификатор проекта экземпляра Cloud Bigtable — project_id;
• Идентификатор экземпляра Cloud Bigtable —instance_id;
• Используемый идентификатор профиля приложения — app_profile (необязательно);
• Имя запрашиваемой таблицы — table_name.

Источник: https://cloud.google.com/blog/products/data-analytics/bigtable-bigquery-federation-brings-hot--cold-data-closer.

После создания внешней таблицы пользователи могут отправлять запросы к Bigtable так же, как и к таблицам в BigQuery. Кроме того, пользователи могут воспользоваться преимуществами таких функций BigQuery, как драйверы JDBC/ODBC, соединители для бизнес-аналитики, инструменты визуализации данных (Data Studio, Looker, Tableau и т. д.), а также таблицы и приложения AutoML для обучения моделей машинного обучения. загружается в разъем Spark в среде разработки модели.

Энтузиаст больших данных Кристиан Лаурер объясняет в своей статье преимущества федеративных запросов в Bigtable.

Вы можете использовать этот новый подход, чтобы преодолеть некоторые недостатки традиционного ETL, такие как:

1. Дополнительные обновления данных (предоставляющие вам новейшую информацию о вашем бизнесе),Старые данные без уровня часов или даже дней);
2. Нет необходимости платить дважды за одно и то же хранилище данных (пользователям обычно достается хранилище Bigtable Среднее в терабайтах или даже больше данных);
3. Уменьшите мониторинг и обслуживание конвейеров ETL.

Наконец, более подробную информацию о федеративных запросах Bigtable можно найти на официальной странице документации. Кроме того, новые федеративные запросы доступны во всех поддерживаемых регионах Cloud Bigtable.

Оригинальная ссылка:

https://www.infoq.com/news/2022/08/bigtable-bigquery-zero-etl/