Введение

Cloudberry База данных (или «CBDB» или «CloudberryDB» для краткости) — это база данных, ориентированная на аналитику и AI Следующее поколение единой базы данных с открытым исходным кодом, созданной сценой, оснащенной PostgreSQL 14.4 Ядро,совместимый PostgreSQL и Greenplum Database экология,использовать Apache License 2.0 Лицензионное соглашение,Зависит от ПекинКлассные данныеHashDataРазработано компанией Technology Co., Ltd.,Исходный код в настоящее время общедоступен.

️Адрес GitHub: https://github.com/cloudberrydb/cloudberrydb. ️Официальная домашняя страница: https://cloudberrydb.org/

Официальная документация: https://cloudberrydb.org/zh/docs/.

14 июля 2023 г. была выпущена база данных Cloudberry v1.0.0.

Особенности продукта

Эффективный запрос в нескольких сценариях

• Cloudberry Database поддерживатьпользовательсуществоватьсреда анализа больших данныхи Распределенная среда Действительно для следующегоиз Запрос：
• среда анализа больших данных：Cloudberry Database Используйте встроенный PostgreSQL из оптимизатора для лучшего правления Распределенная среда. Это означает, что он может создавать более эффективные планы запросов при выполнении больших задач анализа.
• Распределенная среда：использовать Оптимизатор с открытым исходным кодом GPORCA Оптимизатор, специально адаптированный для удовлетворения Распределенной окружающая среда Внизиз потребности в оптимизации запросов.
• Обеспечить статическое и динамическое сокращение разделов.、совокупное понижение、использовать фильтрацию и другие технологии, помогающие пользователям работать быстрее、Точные результаты запроса.
• предоставил средства оптимизации на основе правилиззапроса Оптимизация на основе затрат на запросы означает помощь пользователям в создании более эффективных планов выполнения запросов.

полиморфное хранилище данных

База данных Cloudberry поддерживает множество различных форматов хранения, включая хранилище кучи, хранилище строк AO и хранилище столбцов AOCS, для различных сценариев применения. В то же время база данных Cloudberry также поддерживает секционированные таблицы. Пользователи могут определить метод секционирования таблицы в соответствии с определенными условиями. При запросе подтаблицы, которые не требуется запрашивать, автоматически фильтруются в соответствии с условиями запроса для повышения эффективности. запроса данных.

Многоуровневая защита данных

Cloudberry Database Усиление защиты данных пользователей, поддержка функции шифрования и дешифрования, а также прозрачное шифрование и дешифрование данных. Прозрачное шифрование и дешифрование означает, что процесс шифрования и дешифрования выполняется пользователем без его ведома. Cloudberry Database Ядро завершено. В настоящее время поддерживаются следующие форматы данных. Heap Стол, АО Хранение строк, AOCS Колонное хранилище. При этом помимо широко используемых алгоритмов шифрования AES В дополнение к другим алгоритмам он также поддерживает алгоритм национальной секретности. Пользователи могут легко расширить свои собственные алгоритмы для прозрачного шифрования данных.

Загрузка данных

Cloudberry Database Обеспечивает ряд эффективных и гибких возможностей из Загрузки. решения для обработки данных для удовлетворения различных потребностей в обработке данных, включая распараллеливание и сохранение данных и з Загрузка данных, поддерживают гибкие изданные исходные форматы и форматы файлов, интегрированные многочисленные ETL инструмент、поддерживатьпотоковая передача Загрузка данных、поставлятьвысокая производительностьизданныедоступ。

Несколько уровней отказоустойчивости

Cloudberry Database Чтобы обеспечить безопасность данных и непрерывность обслуживания, страницы данных, контрольная сумма, конфигурация зеркального узла, узел управление резервным копированием с помощью многоуровневого механизма отказоустойчивости.

Широкая поддержка анализа данных

Cloudberry Database поставлятьмощныйизданныеанализировать Функция,Повышает эффективность обработки, запроса и анализа данных.,Удовлетворение всех видов сложной обработки, анализа и запросов.

Гибкое управление рабочей нагрузкой

Cloudberry Database Предоставляет комплексные возможности управления рабочей нагрузкой, предназначенные для эффективного использования и оптимизации базы. ресурсы данных для обеспечения эффективной и стабильной работы. Управление рабочей нагрузкой в ​​основном включает в себя управление уровнем соединения, управление уровнем сеанса, SQL Управление уровнями Три уровня контроля.

Множественная совместимость

Cloudberry Database Совместимость показана на SQL грамматика、компоненты、Инструменты и программы、Аппаратная платформа и операционная система и другие аспекты, что позволяет гибко работать с различными инструментами.、Платформа и язык.

Введение в архитектуру

В большинстве случаев Морошка Database существовать SQL поддержка, функции, параметры конфигурации и функциональность конечного пользователя и PostgreSQL Очень похоже. Пользователь базы данных против. Cloudberry Database Интерактивность базы данных очень близка к работе на одном компьютере. PostgreSQL взаимодействовать.

База данных Cloudberry использует технологию архитектуры MPP, которая обрабатывает большие объемы данных, распределяя рабочую нагрузку по обработке данных между несколькими серверами или хостами.

MPP Также называемая архитектурой массово-параллельной обработки, да относится к системе с несколькими хостами, которые совместно выполняют одну и ту же операцию. Каждый хост имеет собственный процессор, память, диск, сетевые ресурсы и операционную систему. Морошка База данных использует эту высокопроизводительную системную архитектуру для распределения нагрузки больших объемов данных и может использовать все ресурсы системы параллельно для обработки запросов.

С точки зрения пользователя, Cloudberry Database Это полноценная система управления реляционными базами данных. (СУБД). С физической точки зрения он содержит множество PostgreSQL Пример. Для достижения нескольких независимых PostgreSQL Пример разделения труда и сотрудничества, Морошка Database существующие осуществляет распределенную кластеризацию, обработку хранилищ данных, вычисления, а также связь и управление на разных уровнях. Морошка Database Хотя да является кластером, для пользователей он инкапсулирует все распределенные детали и предоставляет пользователям единую логическую базу. данные. Такая инкапсуляция значительно освобождает работу разработчиков, а также персонала по эксплуатации и техническому обслуживанию.

Схема архитектуры базы данных Cloudberry выглядит следующим образом:

• Узел управления (координатор) да Cloudberry Database база система данных из портала, принимающая клиентов SQL Запрашивайте и назначайте работу экземплярам узлов данных. Пользователь и Cloudberry Database Для взаимодействия используйте клиентскую программу (например. psql) или приложение Программный интерфейс (API) (например. JDBC、ODBC или libpq PostgreSQL C API）соединятьприезжатьузел управления。
• узел управления. Местоположение глобального системного каталога существует, глобальный системный каталог представляет собой набор системных таблиц, содержащих информацию о Cloudberry Database база данныхсама системаиз Юаньданные。
• узел управления не содержит никаких пользовательских данных, данные сохраняются только на существующем экземпляре узла.
• узел управления аутентифицирует соединение клиента, обрабатывает входящие SQL Заказ,существующие данные распределяют рабочую нагрузку между узлами,Координируйте каждый узел данных для возврата результатов.,и представить окончательный результат клиентской программе.
• Cloudberry Database использовать журнал упреждающей записи (WAL) для узла управления/Standby зеркало。существоватьна основе WAL изLogging,Все изменения будут регистрироваться перед записью на диск.,Обеспечить целостность любых внутрипроцессных операций.
• Узел данных (сегмент) Экземпляр независим от Postgres В процессе каждый узел данных сохраняет часть данных и выполняет соответствующий частичный запрос. Когда пользователь передает узел управлениясоединятьприезжатьбаза Когда data и отправляет запрос запроса, на каждом узле данных будет создан процесс для обработки запроса. Определено пользователем из таблицы и ее индексного распределения. Cloudberry Database Среди всех доступных узлов данных в издании каждый узел данных содержит разные части данныхиз, и разные части данных из процесса существуют соответствующие изданные узлы. Пользователь по узлу Управляющие узлы для взаимодействия с узлом данных существуют, называемые узлом данных, на котором работает сервер. Хост узла данных обычно выполняет 2 приезжать 8 узлов данных, в зависимости от процессора, памяти, хранилища, сетевых интерфейсов и рабочей нагрузки. Хост узла данных требует сбалансированной конфигурации, поскольку Cloudberry Ключом к достижению максимальной производительности является равномерное распределение рабочей нагрузки между узлами, чтобы все узлы начали работать над задачей одновременно и завершили работу одновременно.
• Межсоединение да Cloudberry Database Сетевой уровень в архитектуре системы. Внутреннее соединениедаобратитесь кузел управления, связь узлов данных опирается на сетевую инфраструктуру, использует стандартную коммутационную структуру Ethernet. Из соображений производительности рекомендуется использовать 10 GB или Быстрее из сети. По умолчанию использование модуля соединения с управлением потоком (UDPIFC) из UDP Протоколы, позволяющие осуществлять связь для отправки сообщений по сети. Морошка Database Выполнение проверки отправленных пакетов превышено UDP Предлагается вне диапазона, что означает, что надежность эквивалентна использованию. TCP протокол, а производительность и масштабируемость превосходят TCP протокол. Если внутри соединение Изменить наиспользовать TCP соглашение, тогда Cloudberry Database масштабируемость ограничена 1000 индивидуальныйданныеузел。использовать UDPIFC При использовании в качестве протокола по умолчанию это ограничение не применяется.
• Cloudberry Database Используйте многоверсионный контроль (Multiversion Concurrency Control/MVCC) Гарантированная согласованность данных. Это означает существование базы запросов данных, каждая транзакция просматривает только даданные снимки, что гарантирует, что текущая транзакция не будет просматривать другие транзакции, существующие в той же записи, на предмет изменений. Соответственно, это база данныеиз обеспечивает изоляцию транзакций для каждой транзакции. MVCC чтобы не давать базу Режим явной блокировки транзакций сводит к минимуму конфликты блокировок и обеспечивает производительность в многопользовательских средах. существуют аспекты управления параллелизмом, использовать MVCC Без использования запирающего механизма самое большое преимущество да, MVCC не сохраняет конфликт существования для запроса (чтения) из блокировки и записи из блокировки.,А чтение и письмо никогда не блокируют друг друга.

Сценарии использования

Сценарий 1: Хранилище данных с пакетной обработкой в ​​автономном режиме и построение витрины данных (хранилища данных и витрины данных)

• Строитьвысокая производительностьиз Cloudberry Database Хранилище данных и базар данных, используемые в хранилищах для запроса крупномасштабных коллекций данных, включая исходный уровень, уровень детализации, сводный уровень и т. д., под Построение модели исходного поста, построение нормализованной модели, построение таблицы измерений и таблицы фактов и т. д., поддержка нескольких способов интеграции источника Загрузка данныхкданныесклад。
• поддерживаются различные типизданные обработки.
• поддерживать Высокий параллелизм、высокая производительность、Низкие эксплуатационные расходы и техническое обслуживание изданных складов и строительство базара данных.
• поддерживают сложные изданные анализы и требования к запросам,включатьданныеполимеризация、многомерный анализ、Связанный запрос ждать.

Сценарий 2. Создание хранилища данных в реальном времени.

• поддерживают высокие сроки строительства изданных складов,поддерживают потоковую передачу данных, сбор и обработку,Анализ данных в реальном времени.

Сценарий 3: Строительство центра обработки данных

• Созданы поддерживаемые Тайчжунский MPP платформы данных, поддерживаются распределенная архитектура параллельной обработки.
• поддерживатьданные Средняя платформаданныескладизстроительство,поддерживать разнообразие мейнстрима ETL Инструменты для стыковки.

Сцена 4: Комплексное строительство озера и склада.

• Поддержка интегрированного строительства предприятий и складов, поддержка озера данных и эффективный обмен данными между складами.

Сценарий 5: Замена существующей базы данных MPP

• поддерживать Невнутреннийбаза замена данных, например. Oracle、TeraData、Greenplum、Vertical ждать.
• Поддержка других типов MPP база замена данных, например. Gbase 8a、GaussDB ждать.

Сценарий 6: Приложения географической информационной системы (ГИС)

• существовать Cloudberry Database ГИС (GIS) приложение。
• хранилищеи Проверьте данные о местоположении,поддерживатькосмосданныеанализировать、Геокодированиеи Визуализация карты и т. д.Функция。
• Можно ли использовать приложение в городском планировании、географический анализ、Карта навигации и другие поля.

Сравнение функций с Greenplum

База данных Cloudberry на 100% совместима с Greenplum и предоставляет все необходимые функции Greenplum.

Кроме того, база данных Cloudberry имеет некоторые функции, которые Greenplum в настоящее время не имеет или не поддерживает, как подробно описано ниже.

Общее сравнение функций

иллюстрировать

• существуют в следующем виде: ✅ Олицетворяет поддержку, ❌ Представитель это не поддерживает.
• Сравнение в следующей таблице на основе версии Greenplum 7.0 Beta.3.

Сравнение ТТХ

Сравнение функций безопасности

ссылка

https://cloudberrydb.org/zh/docs/

https://mp.weixin.qq.com/s/ME-rufZOF5_c9WgL9DqRyw

https://mp.weixin.qq.com/s/ZuVeEsLG1uoeEIREjKAbuQ

https://www.modb.pro/wiki/7408

https://github.com/cloudberrydb/cloudberrydb