Стратегии сжатия и оптимизации хранения данных в HBase
Стратегии сжатия и оптимизации хранения данных в HBase

Обзор сжатия данных HBase

1 Принцип сжатия данных HBase

Сжатие данных в HBase в основном достигается за счет сжатия файлов HFile. HFile — это базовый формат файла, хранящийся в HBase в HDFS. Каждый файл HFile содержит один или несколько блоков данных (блоков), и эти блоки данных можно сжимать с использованием различных алгоритмов сжатия. Когда данные записываются в HBase, они сначала записываются в MemStore в памяти, а затем сбрасываются на диск для создания файла HFile. В процессе создания файлов HFile блоки данных сжимаются в соответствии с настроенным алгоритмом сжатия.

2 Общие алгоритмы сжатия

HBase поддерживает несколько алгоритмов сжатия, наиболее распространенными являются следующие:

Алгоритм сжатия

преимущество

недостаток

GZIP

Обеспечивает высочайшую степень сжатия, подходящую для сценариев с высокими требованиями к пространству хранения.

Сжатие и распаковка выполняются медленно и потребляют много ресурсов процессора.

SNAPPY

Сжатие и распаковка выполняются быстро и подходят для сценариев с высокими требованиями к производительности.

Степень сжатия относительно низкая, подходит для сценариев, не требующих большого объема памяти.

LZO

Обеспечивает более высокую степень сжатия и более высокую скорость сжатия, что подходит для сценариев со строгими требованиями к производительности.

Требуется дополнительная установка библиотеки LZO, а совместимость разных платформ может различаться.

LZ4

Обеспечивает очень высокую скорость сжатия и распаковки, подходящую для сценариев, чувствительных к задержке.

Степень сжатия относительно низкая, подходит для сценариев, не требующих большого объема памяти.

Применимые сценарии сжатия данных HBase

1 Большое количество приложений, требующих большого объема памяти.

В сценариях, когда необходимо хранить большие объемы данных, сжатие данных может эффективно сократить использование дискового пространства.

Например, такие приложения, как хранение журналов и сбор данных датчиков, обычно генерируют большой объем структурированных или полуструктурированных данных. Эти данные имеют определенную степень избыточности и подходят для сжатия, чтобы уменьшить требования к хранению.

2 Высокопроизводительные приложения для чтения

В некоторых сценариях, хотя сжатие данных увеличивает нагрузку на ЦП при записи, при чтении, поскольку блоки данных меньше, запросы на чтение могут загружаться в память быстрее, тем самым повышая производительность чтения. Использование алгоритмов сжатия, таких как SNAPPY или LZ4, особенно в некоторых приложениях, основанных на запросах, может сэкономить место для хранения, обеспечивая при этом производительность.

Настройка и реализация сжатия данных HBase

  1. Настройте алгоритм сжатия таблицы HBase.

Чтобы включить сжатие данных в таблице HBase, вам необходимо настроить алгоритм сжатия семейства столбцов при создании или изменении таблицы. Ниже приведен пример кода для настройки алгоритма сжатия GZIP:

Язык кода:java
копировать
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.TableDescriptor;
import org.apache.hadoop.hbase.client.TableDescriptorBuilder;
import org.apache.hadoop.hbase.io.compress.Compression;
import org.apache.hadoop.hbase.regionserver.BloomType;

public class HBaseCompressionExample {
    public static void main(String[] args) {
        Configuration config = HBaseConfiguration.create();
        try (Connection connection = ConnectionFactory.createConnection(config);
             Admin admin = connection.getAdmin()) {

            // Создать имя таблицы
            TableName tableName = TableName.valueOf("compressed_table");

            // Создайте дескриптор семейства столбцов и установите Алгоритм. сжатиядляGZIP            TableDescriptor tableDescriptor = TableDescriptorBuilder.newBuilder(tableName)
                    .setColumnFamily(TableDescriptorBuilder.newColumnFamilyDescriptor("data")
                            .setCompressionType(Compression.Algorithm.GZIP) // настраивать Алгоритм сжатия
                            .setBloomFilterType(BloomType.ROW))
                    .build();

            // Создать таблицу
            admin.createTable(tableDescriptor);
            System.out.println("Table created with GZIP compression.");

        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

В приведенном выше коде,мы проходимTableDescriptorBuilderиTableDescriptorКласс настраивает Алгоритм сжатиядляGZIPэтнических групп,и создал имядляcompressed_tableстол。

  1. Изменить алгоритм сжатия существующей таблицы

Если вам нужно выполнить Алгоритм на существующей таблице сжатиямодификации,может пройтиalterTableРеализация метода。Ниже приведена существующая таблица Алгоритм Пример кода для изменения сжатия с GZIP на SNAPPY:

Язык кода:java
копировать
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.ColumnFamilyDescriptor;
import org.apache.hadoop.hbase.client.ColumnFamilyDescriptorBuilder;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.TableDescriptor;
import org.apache.hadoop.hbase.client.TableDescriptorBuilder;
import org.apache.hadoop.hbase.io.compress.Compression;

public class HBaseCompressionChangeExample {
    public static void main(String[] args) {
        Configuration config = HBaseConfiguration.create();
        try (Connection connection = ConnectionFactory.createConnection(config);
             Admin admin = connection.getAdmin()) {

            // Получить имя таблицы
            TableName tableName = TableName.valueOf("compressed_table");

            // Получить текущий дескриптор таблицы
            TableDescriptor tableDescriptor = admin.getDescriptor(tableName);

            // Получите текущий дескриптор семейства столбцов и установите новый алгоритм. сжатиядляSNAPPY            ColumnFamilyDescriptor columnFamilyDescriptor = tableDescriptor.getColumnFamily("data".getBytes());
            ColumnFamilyDescriptor newColumnFamilyDescriptor = ColumnFamilyDescriptorBuilder.newBuilder(columnFamilyDescriptor)
                    .setCompressionType(Compression.Algorithm.SNAPPY)
                    .build();

            // Перестроить дескрипторы таблиц, используя новые дескрипторы семейств столбцов.
            TableDescriptor newTableDescriptor = TableDescriptorBuilder.newBuilder(tableDescriptor)
                    .modifyColumnFamily(newColumnFamilyDescriptor)
                    .build();

            // Обновить таблицу Алгоритма сжатия
            admin.modifyTable(newTableDescriptor);
            System.out.println("Table compression algorithm changed to SNAPPY.");

        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

Приведенный выше код изменяет алгоритм сжатия существующей таблицы, получая существующий дескриптор таблицы, затем изменяя алгоритм сжатия семейства столбцов и обновляя конфигурацию таблицы.

Стратегия оптимизации хранилища HBase

Помимо сжатия данных, у HBase есть и другие стратегии оптимизации хранилища, которые могут помочь нам еще больше повысить эффективность хранения и производительность чтения.

1 Раздел данных и управление регионами

Стратегия оптимизации

иллюстрировать

Применимые сценарии

предварительно разделенный

Разделение на основе ожидаемого диапазона ключей строк во время создания таблицы, чтобы уменьшить количество горячих точек данных.

Подходит для сценариев, в которых доступ к данным относительно однороден, чтобы избежать чрезмерной нагрузки на один регион.

Регион автоматически разделяется

Когда размер региона превышает пороговое значение, он автоматически разделяется на два региона.

Подходит для сценариев, в которых объем данных продолжает расти, чтобы избежать проблем с производительностью, вызванных слишком большим размером одного региона.

Разделение регионов вручную

Разделите регионы вручную в соответствии с потребностями бизнеса, чтобы точно контролировать распределение данных.

Подходит для сценариев, требующих точного контроля над распределением данных, например, для конкретных пользовательских данных, которые необходимо хранить отдельно.

2 Сжатие и объединение файлов HFile

Стратегия оптимизации

иллюстрировать

Применимые сценарии

Сжатие файлов

Сжимайте файлы HFile, чтобы уменьшить использование места для хранения.

Подходит для приложений с интенсивным использованием хранилища, особенно в сценариях с высокой избыточностью данных.

Объединение файлов HFile

Регулярно объединяйте небольшие файлы HFile в файлы большего размера, чтобы уменьшить фрагментацию файлов.

Подходит для сценариев с частыми операциями записи, чтобы избежать влияния большого количества небольших файлов на производительность чтения.

3 Как использовать фильтр Блума

Стратегия оптимизации

иллюстрировать

Применимые сценарии

Фильтр Блума на уровне строки

Чтение

При формировании данных сначала используется фильтр Блума, чтобы определить, существует ли ключ целевой строки, чтобы уменьшить ненужный дисковый ввод-вывод.

Фильтр Блума на уровне семейства колонн

Включите фильтры Блума на основе требований к семейству столбцов для дальнейшей оптимизации эффективности запросов.

Подходит для семейств столбцов, которым требуются точные запросы, чтобы уменьшить количество проверок недействительных данных.

Настройка и реализация стратегий оптимизации хранилища

1 Конфигурацияпредварительно разделенный

существовать Создать таблицучас,может пройти Конфигурацияпредварительно разделенный для оптимизации хранения и доступа к данным. Ниже приводится предварительная информация. Пример кода для разделенного:

Язык кода:java
копировать
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.TableDescriptor;
import org.apache.hadoop.hbase.client.TableDescriptorBuilder;
import org.apache.hadoop.hbase.client.RegionInfo;
import org.apache.hadoop.hbase.client.RegionInfoBuilder;
import org.apache.hadoop.hbase.util.Bytes;

public class HBasePreSplitExample {
    public static void main(String[] args) {
        Configuration config = HBaseConfiguration.create();
        try (Connection connection = ConnectionFactory.createConnection(config);
             Admin admin = connection.getAdmin()) {

            // Создать имя таблицы
            TableName tableName = TableName.valueOf("pre_split_table");

            // определениепредварительно Диапазон ключей строк для разделенного
            byte[][] splitKeys = new byte[][] {
                    Bytes.toBytes("region1"),
                    Bytes.toBytes("region2"),
                    Bytes.toBytes("region3")
            };

            // Создать таблицудескриптор Конфигурацияпредварительно разделенный
            TableDescriptor tableDescriptor = TableDescriptorBuilder.newBuilder(tableName)
                    .setColumnFamily(TableDescriptorBuilder.newColumnFamilyDescriptor("data"))
                    .build();

            // Создать таблицучасобозначениепредварительно разделенный
            admin.createTable(tableDescriptor, splitKeys);
            System.out.println("Table created with pre-split regions.");

        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

Приведенный выше кодсуществовать Создать таблицучас,проходитьsplitKeysПараметры указаныпредварительно Диапазон ключей строк для разделенного,Это позволяет избежать горячих точек данных,Оптимизируйте хранение данных и производительность чтения.

2 Конфигурация Объединение файлов Стратегия HFile

Чтобы уменьшить влияние небольших файлов, вы можете настроить стратегию слияния HFile. Ниже приведен пример кода для настройки Объединения файлов HFile:

Язык кода:xml
копировать
<property>
    <name>hbase.hstore.compactionThreshold</name>
    <value>3</value>
    <description>Порог количества файлов для запуска слияния</description>
</property>

<property>
    <name>hbase.hstore.compaction.max</name>
    <value>10</value>
    <description>Максимальное количество файлов в одном слиянии</description>
</property>

существоватьhbase-site.xmlКонфигурацияв файле,насможет пройтиhbase.hstore.compactionThresholdиhbase.hstore.compaction.maxпараметры для контроляHFileСтратегия объединения。

3 Настроить фильтр Блума

При создании или изменении таблиц вы можете использовать Настроить фильтр Блума для оптимизации производительности запросов. Ниже приведен пример кода для настройки фильтра Блума на уровне строки:

Язык кода:java
копировать
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.TableDescriptor;
import org.apache.hadoop.hbase.client.TableDescriptorBuilder;
import org.apache.hadoop.hbase.regionserver.BloomType;

public class HBaseBloomFilterExample {
    public static void main(String[] args) {
        Configuration config = HBaseConfiguration.create();
        try (Connection connection = ConnectionFactory.createConnection(config);
             Admin admin = connection.getAdmin()) {

            // Создать имя таблицы
            TableName tableName = TableName.valueOf("bloom_filter_table");

            // Создайте дескриптор семейства столбцов и установите тип фильтра Блума на ROW.
            TableDescriptor tableDescriptor = TableDescriptorBuilder.newBuilder(tableName)
                    .setColumnFamily(TableDescriptorBuilder.newColumnFamilyDescriptor("data")
                            .setBloomFilterType(BloomType.ROW))
                    .build();

            // Создать таблицу
            admin.createTable(tableDescriptor);
            System.out.println("Table created with Row-level Bloom filter.");

        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

В приведенном выше коде,мы проходимsetBloomFilterTypeметоддлякланы Конфигурация Понятно Фильтр Блума на уровне строки для оптимизации производительности запросов.

Конец этой статьи——》——》

Поскольку масштабы данных продолжают расти, а потребности бизнеса продолжают меняться, стратегия хранения данных HBase оптимизация также постоянно развивается. С улучшенной производительностью оборудования и новым алгоритмом С введением сжатия эффективность хранения и производительность HBase будут улучшены. В то же время, поскольку сообщество HBase продолжает развиваться, новая Стратегия Оптимизация и инструменты также будут продолжать появляться, чтобы помочь пользователям лучше управлять и оптимизировать свои системы хранения данных.

boy illustration
Углубленный анализ переполнения памяти CUDA: OutOfMemoryError: CUDA не хватает памяти. Попыталась выделить 3,21 Ги Б (GPU 0; всего 8,00 Ги Б).
boy illustration
[Решено] ошибка установки conda. Среда решения: не удалось выполнить первоначальное зависание. Повторная попытка с помощью файла (графическое руководство).
boy illustration
Прочитайте нейросетевую модель Трансформера в одной статье
boy illustration
.ART Теплые зимние предложения уже открыты
boy illustration
Сравнительная таблица описания кодов ошибок Amap
boy illustration
Уведомление о последних правилах Points Mall в декабре 2022 года.
boy illustration
Даже новички могут быстро приступить к работе с легким сервером приложений.
boy illustration
Взгляд на RSAC 2024｜Защита конфиденциальности в эпоху больших моделей
boy illustration
Вы используете ИИ каждый день и до сих пор не знаете, как ИИ дает обратную связь? Одна статья для понимания реализации в коде Python общих функций потерь генеративных моделей + анализ принципов расчета.
boy illustration
Используйте (внутренний) почтовый ящик для образовательных учреждений, чтобы использовать Microsoft Family Bucket (1T дискового пространства на одном диске и версию Office 365 для образовательных учреждений)
boy illustration
Руководство по началу работы с оперативным проектом (7) Практическое сочетание оперативного письма — оперативного письма на основе интеллектуальной системы вопросов и ответов службы поддержки клиентов
boy illustration
[docker] Версия сервера «Чтение 3» — создайте свою собственную программу чтения веб-текста
boy illustration
Обзор Cloud-init и этапы создания в рамках PVE
boy illustration
Корпоративные пользователи используют пакет регистрационных ресурсов для регистрации ICP для веб-сайта и активации оплаты WeChat H5 (с кодом платежного узла версии API V3)
boy illustration
Подробное объяснение таких показателей производительности с высоким уровнем параллелизма, как QPS, TPS, RT и пропускная способность.
boy illustration
Удачи в конкурсе Python Essay Challenge, станьте первым, кто испытает новую функцию сообщества [Запускать блоки кода онлайн] и выиграйте множество изысканных подарков!
boy illustration
[Техническая посадка травы] Кровавая рвота и отделка позволяют вам необычным образом ощипывать гусиные перья! Не распространяйте информацию! ! !
boy illustration
[Официальное ограниченное по времени мероприятие] Сейчас ноябрь, напишите и получите приз
boy illustration
Прочтите это в одной статье: Учебник для няни по созданию сервера Huanshou Parlu на базе CVM-сервера.
boy illustration
Cloud Native | Что такое CRD (настраиваемые определения ресурсов) в K8s?
boy illustration
Как использовать Cloudflare CDN для настройки узла (CF самостоятельно выбирает IP) Гонконг, Китай/Азия узел/сводка и рекомендации внутреннего высокоскоростного IP-сегмента
boy illustration
Дополнительные правила вознаграждения амбассадоров акции в марте 2023 г.
boy illustration
Можно ли открыть частный сервер Phantom Beast Palu одним щелчком мыши? Супер простой урок для начинающих! (Прилагается метод обновления сервера)
boy illustration
[Играйте с Phantom Beast Palu] Обновите игровой сервер Phantom Beast Pallu одним щелчком мыши
boy illustration
Maotouhu делится: последний доступный внутри страны адрес склада исходного образа Docker 2024 года (обновлено 1 декабря)
boy illustration
Кодирование Base64 в MultipartFile
boy illustration
5 точек расширения SpringBoot, супер практично!
boy illustration
Глубокое понимание сопоставления индексов Elasticsearch.
boy illustration
15 рекомендуемых платформ разработки с нулевым кодом корпоративного уровня. Всегда найдется та, которая вам понравится.
boy illustration
Аннотация EasyExcel позволяет экспортировать с сохранением двух десятичных знаков.
©