ClickHouse(04)Как создать кластер ClickHouse
ClickHouse(04)Как создать кластер ClickHouse

ClickHouseСоздание кластераиразвертыватьиавтономныйразвертыватьпохож,В основном из-за несогласованности конфигурации,Если вам нужно знать об установке и развертывании автономной машины ClickHouse,Вы можете прочитать эту статью,ClickHouse(03)Как установить и развернуть ClickHouse

Процесс развертывания кластера ClickHouse примерно следующий:

  1. Экологическая подготовка
  2. Установите автономную версию ClickHouse на каждый компьютер.
  3. Конфигурация config.xml
  4. Конфигурация Zookeeper
  5. Войти в тест ClickHouse

Экологическая подготовка

  1. Загрузите установочный пакет

в соответствии сClickHouse(03)Как установить и развернуть ClickHouseВы можете скачать введение в

  1. Установите полное доменное имя, которое является именем хоста, команда выглядит следующим образом:
Язык кода:shell
копировать
# hostnamectl --static set-hostname ck1.com
  1. Настроить файл хостов
Язык кода:shell
копировать
# cat /etc/hosts
……
10.37.129.10 ck1
10.37.129.11 ck2

Установите автономную версию ClickHouse на каждый компьютер.

в соответствии сClickHouse(03)Как установить и развернуть ClickHouseПросто установите его, как описано в

Конфигурация config.xml

Для настройки кластера вам необходимо /etc/clickhouse-server/config.xml <remote_servers> Добавьте соответствующую информацию о кластере под меткой. Или настройте его в /etc/metrika.xml, просто выберите один из двух.

Такая конфигурация должна быть записана в файл config.xml или metrika.xml каждой машины.

Если настроено в config.xml

Язык кода:html
копировать
# Добавьте metrika.xml в файл глобальной конфигурации config.xml.
<include_from>/etc/clickhouse-server/metrika.xml</include_from>

#Обратитесь к определению конфигурации Zookeeper.
<zookeeper incl="zookeeper-servers" optional="true" />

<remote_servers>
        <test_cluster1>
            <shard>
                <replica>
                    <host>ck1</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <replica>
                    <host>ck2</host>
                    <port>9000</port>
                </replica>
            </shard>
        </test_cluster1>
</remote_servers>

Если настроено в metrika.xml

Язык кода:html
копировать
<yandex>
    <clickhouse_remote_servers>
        <!--Имя пользовательского кластера-->
        <test_cluster1>
            <!--Определите количество шардов для кластера,2индивидуальныйshardОписание этикетки2индивидуальныйузел-->
            <shard>
                <!--Определить количество реплик для шарда,Здесь только копии1индивидуальный-->
                <replica>
                    <host>ck1</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <replica>
                    <host>ck2</host>
                    <port>9000</port>
                </replica>
            </shard>
        </test_cluster1>
    </clickhouse_remote_servers>

</yandex>

Конфигурация Zookeeper

Zookeeper в основном используется в кликхаусе для синхронизации данных таблицы реплик (движок ReplicationMergeTree) и работы распределенных таблиц (Distributed).

Создайте файл конфигурации metrika.xml в каталоге /etc/clickhouse-server (если он уже существует, просто запишите его непосредственно в него) и добавьте следующее содержимое:

Язык кода:html
копировать
# Что-то вроде этого, хозяин и Заполните свой собственный порт
<zookeeper-servers>
    <node index="1">
        <host>10.10.1.20</host>
        <port>2181</port>
    </node>
    <node index="2">
        <host>10.10.1.21</host>
        <port>2181</port>
    </node>
    <node index="3">
        <host>10.10.1.22</host>
        <port>2181</port>
    </node>
</zookeeper-servers>

Войти в тест ClickHouse

После завершения настройки нет необходимости перезапускать службу Clickhouse, Clickhouse выполнит горячую загрузку этих конфигураций. Мы можем зайти во все кликхаусы по отдельности и просмотреть соответствующую информацию о кластере, к которому принадлежит текущий узел, через select * from system.clusters;:

Войдите в клиент ClickHouse

Язык кода:shell
копировать
clickhouse-client --host="127.0.0.1" --port="9000" --user="****" --password="****"

Информация о кластере, к которому принадлежит текущий узел

Язык кода:sql
копировать
select * from system.clusters where cluster = 'test_cluster1';

Результаты запроса

Язык кода:shell
копировать
SELECT *
FROM system.clusters
WHERE cluster = 'test_cluster1'

Query id: eb2064de-92f3-41b0-ac74-6b025d5082a1

┌─cluster──────┬─shard_num─┬─shard_weight─┬─replica_num─┬─host_name─────┬─host_address──┬─port─┬─is_local─┬─user────┬─default_database─┬─errors_count─┬─slowdowns_count─┬─estimated_recovery_time─┐
│ test_cluster1 │         1 │            1 │           1 │ ck1 │ 10.37.129.10 │ 9000 │        0 │ default │                  │            0 │               0 │                       0 │
│ test_cluster1 │         2 │            1 │           1 │ ck2 │ 10.37.129.11 │ 9000 │        1 │ default │                  │            0 │               0 │                       0 │
└──────────────┴───────────┴──────────────┴─────────────┴───────────────┴───────────────┴──────┴──────────┴─────────┴──────────────────┴──────────────┴─────────────────┴─────────────────────────┘

3 rows in set. Elapsed: 0.002 sec. 

На этом этапе развертывание кластера Clickhouse 2shard1replica завершено.

Обратите внимание, что кластер Clickhouse не является структурой «главный-подчиненный», и каждый узел независим друг от друга. Поэтому, в отличие от кластеров HDFS и YARN, мы можем гибко настраивать кластер в соответствии с конфигурацией и даже назначать узел нескольким кластерам одновременно.

Обмен данными

Классический обмен документами ClickHouse на китайском языке

Справочная статья

boy illustration
Углубленный анализ переполнения памяти CUDA: OutOfMemoryError: CUDA не хватает памяти. Попыталась выделить 3,21 Ги Б (GPU 0; всего 8,00 Ги Б).
boy illustration
[Решено] ошибка установки conda. Среда решения: не удалось выполнить первоначальное зависание. Повторная попытка с помощью файла (графическое руководство).
boy illustration
Прочитайте нейросетевую модель Трансформера в одной статье
boy illustration
.ART Теплые зимние предложения уже открыты
boy illustration
Сравнительная таблица описания кодов ошибок Amap
boy illustration
Уведомление о последних правилах Points Mall в декабре 2022 года.
boy illustration
Даже новички могут быстро приступить к работе с легким сервером приложений.
boy illustration
Взгляд на RSAC 2024|Защита конфиденциальности в эпоху больших моделей
boy illustration
Вы используете ИИ каждый день и до сих пор не знаете, как ИИ дает обратную связь? Одна статья для понимания реализации в коде Python общих функций потерь генеративных моделей + анализ принципов расчета.
boy illustration
Используйте (внутренний) почтовый ящик для образовательных учреждений, чтобы использовать Microsoft Family Bucket (1T дискового пространства на одном диске и версию Office 365 для образовательных учреждений)
boy illustration
Руководство по началу работы с оперативным проектом (7) Практическое сочетание оперативного письма — оперативного письма на основе интеллектуальной системы вопросов и ответов службы поддержки клиентов
boy illustration
[docker] Версия сервера «Чтение 3» — создайте свою собственную программу чтения веб-текста
boy illustration
Обзор Cloud-init и этапы создания в рамках PVE
boy illustration
Корпоративные пользователи используют пакет регистрационных ресурсов для регистрации ICP для веб-сайта и активации оплаты WeChat H5 (с кодом платежного узла версии API V3)
boy illustration
Подробное объяснение таких показателей производительности с высоким уровнем параллелизма, как QPS, TPS, RT и пропускная способность.
boy illustration
Удачи в конкурсе Python Essay Challenge, станьте первым, кто испытает новую функцию сообщества [Запускать блоки кода онлайн] и выиграйте множество изысканных подарков!
boy illustration
[Техническая посадка травы] Кровавая рвота и отделка позволяют вам необычным образом ощипывать гусиные перья! Не распространяйте информацию! ! !
boy illustration
[Официальное ограниченное по времени мероприятие] Сейчас ноябрь, напишите и получите приз
boy illustration
Прочтите это в одной статье: Учебник для няни по созданию сервера Huanshou Parlu на базе CVM-сервера.
boy illustration
Cloud Native | Что такое CRD (настраиваемые определения ресурсов) в K8s?
boy illustration
Как использовать Cloudflare CDN для настройки узла (CF самостоятельно выбирает IP) Гонконг, Китай/Азия узел/сводка и рекомендации внутреннего высокоскоростного IP-сегмента
boy illustration
Дополнительные правила вознаграждения амбассадоров акции в марте 2023 г.
boy illustration
Можно ли открыть частный сервер Phantom Beast Palu одним щелчком мыши? Супер простой урок для начинающих! (Прилагается метод обновления сервера)
boy illustration
[Играйте с Phantom Beast Palu] Обновите игровой сервер Phantom Beast Pallu одним щелчком мыши
boy illustration
Maotouhu делится: последний доступный внутри страны адрес склада исходного образа Docker 2024 года (обновлено 1 декабря)
boy illustration
Кодирование Base64 в MultipartFile
boy illustration
5 точек расширения SpringBoot, супер практично!
boy illustration
Глубокое понимание сопоставления индексов Elasticsearch.
boy illustration
15 рекомендуемых платформ разработки с нулевым кодом корпоративного уровня. Всегда найдется та, которая вам понравится.
boy illustration
Аннотация EasyExcel позволяет экспортировать с сохранением двух десятичных знаков.