Стратегии согласованности данных и восстановления после сбоев в HBase
Стратегии согласованности данных и восстановления после сбоев в HBase

В системе распределенных баз данных согласованность данных и восстановление после сбоев являются двумя очень важными проблемами. Как типичная распределенная база данных NoSQL, HBase обеспечивает эффективную производительность чтения и записи, а также горизонтальную масштабируемость и широко используется в сценариях с большими данными. Однако перед лицом неизбежных сбоев узлов и разделов сети в распределенной архитектуре обеспечение согласованности данных и быстрое восстановление после сбоев являются важными целями проектирования системы HBase.


Согласованность данных в HBase

В распределенных системах согласованность данных обычно можно разделить на следующие три типа:

тип консистенции

описывать

сильная консистенция

Каждая операция чтения может считывать последние результаты записи.

конечная согласованность

При отсутствии новых операций записи данные в конечном итоге достигнут согласованного состояния, но операции чтения могут получить данные с истекшим сроком действия.

слабая консистенция

Система не гарантирует, что данные достигнут согласованного состояния, и может возвращать противоречивые данные.

HBaseизсильная консистенция Модель

HBaseследоватьсильная консистенция Модель,То есть после каждой операции записи,Клиент может прочитать последние данные. Это делается с помощью следующего механизма:

Таблица механизма WAL (Write Ahead Log)

механизм

описывать

WALмеханизм

Перед каждой записью данных HBase сначала записывает данные в файл журнала WAL.

Защита от потери данных

Убедитесь, что данные не потеряны после непредвиденных сбоев.

Процесс записи журнала

Операция записи не будет завершена по-настоящему, пока все реплики не будут успешно записаны в журнал.

Таблицы MemStore и HFileмеханизм

механизм

описывать

MemStore

Данные сначала записываются в MemStore и временно сохраняются в памяти.

Флэш-диск

Когда данные в MemStore достигают определенного размера, данные преобразуются в формат Флэш-диск и создается файл HFile.

Чтение приоритета операции

Во время операций чтения HBase отдает приоритет чтению последних данных в MemStore, чтобы обеспечить согласованность чтения данных.

Примеры кода для достижения согласованности данных

В приведенном ниже коде мы покажем, как обеспечить согласованность данных с помощью WAL и MemStore.

Язык кода:java
копировать
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;

public class HBaseConsistencyExample {
    public static void main(String[] args) throws Exception {
        // Создать объект конфигурации HBase
        Configuration config = HBaseConfiguration.create();
        try (Connection connection = ConnectionFactory.createConnection(config)) {
            Table table = connection.getTable(TableName.valueOf("user_data"));

            // Вставьте фрагмент данных
            Put put = new Put(Bytes.toBytes("user123"));
            put.addColumn(Bytes.toBytes("personal_info"), Bytes.toBytes("name"), Bytes.toBytes("Alice"));
            put.addColumn(Bytes.toBytes("personal_info"), Bytes.toBytes("age"), Bytes.toBytes("30"));
            table.put(put);

            // Обеспечьте согласованность данных с помощью WALмеханизма.
            put.setDurability(Durability.SYNC_WAL); // Используйте журналы WAL для обеспечения сохранности данных.
            table.put(put);

            System.out.println("Data inserted with WAL enabled.");

            // Получите данные и проверьте согласованность
            Get get = new Get(Bytes.toBytes("user123"));
            Result result = table.get(get);
            String name = Bytes.toString(result.getValue(Bytes.toBytes("personal_info"), Bytes.toBytes("name")));
            String age = Bytes.toString(result.getValue(Bytes.toBytes("personal_info"), Bytes.toBytes("age")));
            System.out.println("Name: " + name + ", Age: " + age);
        }
    }
}

по этому коду,Вы можете увидеть, как использовать WALмеханизм HBase для обеспечения согласованности данных. Даже если во время записи произошел сбой,Мы также можем гарантировать, что данные не будут потеряны через журналы WAL.


Стратегии восстановления после сбоев в HBase

HBase имеет встроенный механизм отказоустойчивости и восстановления.,Чтобы гарантировать, что в случае возникновения непредвиденных ситуаций, таких как сбой узла и раздела сети,,Систему можно быстро восстановить, а обслуживание продолжить.

Восстановление после сбоя сервера региона

Единицей хранения данных в HBase является регион, а сервер региона отвечает за управление несколькими регионами. При сбое сервера региона HBase выполняет восстановление после сбоя, выполнив следующие шаги:

Шаги восстановления

описывать

Ошибка обнаружения мастера

Главный узел HBase контролирует все серверы региона. Когда сервер региона обнаруживается отключенным, запускается процесс восстановления после сбоя.

Переназначить регион

Главный узел перераспределяет регион, размещенный на вышедшем из строя сервере региона, другим доступным серверам региона.

Восстановить данные из журналов WAL

Новый сервер региона считывает журнал WAL вышедшего из строя сервера региона и применяет незавершенные операции записи к размещенным на нем регионам, чтобы гарантировать, что данные не будут потеряны.

Примеры кода для восстановления после сбоя

Чтобы смоделировать регион сбоя сервера, следующий код показывает, как обрабатывать механизм перераспределения региона и восстановления данных.

Язык кода:java
копировать
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.util.Bytes;

public class HBaseFailureRecoveryExample {
    public static void main(String[] args) throws Exception {
        // Настроить HBase
        Configuration config = HBaseConfiguration.create();
        try (Connection connection = ConnectionFactory.createConnection(config)) {
            Table table = connection.getTable(TableName.valueOf("user_data"));

            // Имитировать регион Восстановление данных после сбоя сервера
            Get get = new Get(Bytes.toBytes("user123"));
            Result result = table.get(get);
            if (!result.isEmpty()) {
                String name = Bytes.toString(result.getValue(Bytes.toBytes("personal_info"), Bytes.toBytes("name")));
                String age = Bytes.toString(result.getValue(Bytes.toBytes("personal_info"), Bytes.toBytes("age")));
                System.out.println("Recovered Name: " + name + ", Recovered Age: " + age);
            } else {
                System.out.println("Data not found, recovery in progress...");
            }

            // Вы можете продолжить работу с данными после перераспределения региона.
            Put put = new Put(Bytes.toBytes("user123"));
            put.addColumn(Bytes.toBytes("personal_info"), Bytes.toBytes("address"), Bytes.toBytes("New York"));
            table.put(put);
            System.out.println("New data inserted after recovery.");
        }
    }
}

Этот код имитирует обработку после сбоя сервера региона, данные восстанавливаются через журнал WAL и регион перераспределяется. Пользователи могут продолжать нормально работать с данными после устранения сбоя.


Пример анализа согласованности данных и устранения ошибок

Случай согласованности данных

в системе комментариев пользователей,Данные комментариев пользователей должны записываться в режиме реального времени и быть легко читаемыми. WALмеханизм от HBase,Мы можем гарантировать, что даже в случае сбоя системы во время процесса записи,Данные по-прежнему можно восстановить через журналы WAL.,Убедитесь, что комментарии пользователей не теряются.

Структура таблицы спроектирована следующим образом:

кланы

Список

иллюстрировать

comments

commentId

Уникальный идентификатор комментария

comments

userId

ID пользователя

comments

commentText

Содержание комментария

comments

timestamp

Время комментирования

Язык кода:java
копировать
Put put = new Put(Bytes.toBytes("comment_20230906_001"));
put.addColumn(Bytes.toBytes("comments"), Bytes.toBytes("userId"), Bytes.toBytes("user123"));
put.addColumn(Bytes.toBytes("comments"), Bytes.toBytes("commentText"), Bytes.toBytes("This is a great post!"));
put.addColumn(Bytes.toBytes("comments"), Bytes.toBytes("timestamp"), Bytes.toBytes(System.currentTimeMillis()));
put.setDurability(Durability.SYNC_WAL); // Использование механизма журналов WAL
table.put(put);

Обеспечьте согласованность записи данных посредством WALмеханизма, и комментарии пользователей не будут потеряны, даже если система выйдет из строя.

Случай восстановления после сбоя

В системе заказов электронной коммерции, Регион После сбоя сервера,Данные заказа должны быть восстановлены быстро и последовательно. В этом сценарии,HBase использует перераспределение региона главного узла и механизм восстановления журналов WAL.,Убедитесь, что информация о заказе не потеряна.

Структура таблицы спроектирована следующим образом:

кланы

Список

иллюстрировать

orders

orderId

Уникальный идентификатор заказа

orders

userId

ID пользователя

orders

productId

Идентификатор продукта

orders

orderStatus

Статус заказа

orders

timestamp

время заказа

Код развертывания следующий:

Язык кода:java
копировать
Get get = new Get(Bytes.toBytes("order_20230906_001"));
Result result = table.get(get);
if (!result.isEmpty()) {
    String orderStatus = Bytes.toString(result.getValue(Bytes.toBytes("orders"), Bytes.toBytes("orderStatus")));
    System.out.println("Recovered Order Status: " + orderStatus);
} else {
    System.out.println

("Order not found, recovery in progress...");
}

После сбоя системы данные заказа можно быстро восстановить через журнал WAL, чтобы обеспечить высокую доступность системы.

HBase использует модель сильной консистенции и эффективный механизм восстановления после сбоев.,Он может обеспечить стабильные и эффективные услуги хранения данных в крупномасштабных распределенных системах. Согласованность данных гарантируется благодаря совместной работе WAL и MemStore.,Устранение сбоев достигается за счет координации Мастер-узла и воспроизведения журналов WAL.

boy illustration
Углубленный анализ переполнения памяти CUDA: OutOfMemoryError: CUDA не хватает памяти. Попыталась выделить 3,21 Ги Б (GPU 0; всего 8,00 Ги Б).
boy illustration
[Решено] ошибка установки conda. Среда решения: не удалось выполнить первоначальное зависание. Повторная попытка с помощью файла (графическое руководство).
boy illustration
Прочитайте нейросетевую модель Трансформера в одной статье
boy illustration
.ART Теплые зимние предложения уже открыты
boy illustration
Сравнительная таблица описания кодов ошибок Amap
boy illustration
Уведомление о последних правилах Points Mall в декабре 2022 года.
boy illustration
Даже новички могут быстро приступить к работе с легким сервером приложений.
boy illustration
Взгляд на RSAC 2024|Защита конфиденциальности в эпоху больших моделей
boy illustration
Вы используете ИИ каждый день и до сих пор не знаете, как ИИ дает обратную связь? Одна статья для понимания реализации в коде Python общих функций потерь генеративных моделей + анализ принципов расчета.
boy illustration
Используйте (внутренний) почтовый ящик для образовательных учреждений, чтобы использовать Microsoft Family Bucket (1T дискового пространства на одном диске и версию Office 365 для образовательных учреждений)
boy illustration
Руководство по началу работы с оперативным проектом (7) Практическое сочетание оперативного письма — оперативного письма на основе интеллектуальной системы вопросов и ответов службы поддержки клиентов
boy illustration
[docker] Версия сервера «Чтение 3» — создайте свою собственную программу чтения веб-текста
boy illustration
Обзор Cloud-init и этапы создания в рамках PVE
boy illustration
Корпоративные пользователи используют пакет регистрационных ресурсов для регистрации ICP для веб-сайта и активации оплаты WeChat H5 (с кодом платежного узла версии API V3)
boy illustration
Подробное объяснение таких показателей производительности с высоким уровнем параллелизма, как QPS, TPS, RT и пропускная способность.
boy illustration
Удачи в конкурсе Python Essay Challenge, станьте первым, кто испытает новую функцию сообщества [Запускать блоки кода онлайн] и выиграйте множество изысканных подарков!
boy illustration
[Техническая посадка травы] Кровавая рвота и отделка позволяют вам необычным образом ощипывать гусиные перья! Не распространяйте информацию! ! !
boy illustration
[Официальное ограниченное по времени мероприятие] Сейчас ноябрь, напишите и получите приз
boy illustration
Прочтите это в одной статье: Учебник для няни по созданию сервера Huanshou Parlu на базе CVM-сервера.
boy illustration
Cloud Native | Что такое CRD (настраиваемые определения ресурсов) в K8s?
boy illustration
Как использовать Cloudflare CDN для настройки узла (CF самостоятельно выбирает IP) Гонконг, Китай/Азия узел/сводка и рекомендации внутреннего высокоскоростного IP-сегмента
boy illustration
Дополнительные правила вознаграждения амбассадоров акции в марте 2023 г.
boy illustration
Можно ли открыть частный сервер Phantom Beast Palu одним щелчком мыши? Супер простой урок для начинающих! (Прилагается метод обновления сервера)
boy illustration
[Играйте с Phantom Beast Palu] Обновите игровой сервер Phantom Beast Pallu одним щелчком мыши
boy illustration
Maotouhu делится: последний доступный внутри страны адрес склада исходного образа Docker 2024 года (обновлено 1 декабря)
boy illustration
Кодирование Base64 в MultipartFile
boy illustration
5 точек расширения SpringBoot, супер практично!
boy illustration
Глубокое понимание сопоставления индексов Elasticsearch.
boy illustration
15 рекомендуемых платформ разработки с нулевым кодом корпоративного уровня. Всегда найдется та, которая вам понравится.
boy illustration
Аннотация EasyExcel позволяет экспортировать с сохранением двух десятичных знаков.