иллюстрировать

В этой статье описываются проблема и решение, применимое к Тенсент Облако Elasticsearch Service（ES）。

один、планиллюстрировать

Это решение основано на версии ядра разделения хранения и вычислений и оценивает основные функции версии разделения хранения и вычислений ES.

2. Стандарты испытаний

3. Компонентная версия (сторона Tencent)

4. Рекомендации по модели

Локальный диск ES с высоким уровнем ввода-вывода

5. Этапы тестирования

1. характеристикаиллюстрировать

Он поддерживает прием и выгрузку индексных данных в удаленное общее хранилище. Реплика и основной сегмент совместно используют копию данных, и только небольшой объем метаданных сохраняется локально, что снижает использование диска.

2. Как использовать

Функцию разделения хранения и вычислений необходимо включать или выключать при создании индекса, и ее нельзя изменять динамически. Время погружения и разгрузки можно устанавливать динамически.

2.1. Переход от фондового индекса к разделению хранения и расчета.

Для обычных индексов вы можете преобразовать обычные индексы в индексы, разделенные вычислениями хранилища, следующим образом (вы не можете преобразовать разделение вычислений хранилища в обычные индексы).

Для автономных индексов или потоков данных вы можете преобразовать резервный индекс один за другим следующим образом.

# Закройте индекс. Индекс находится в закрытом состоянии и не поддерживает чтение и запись.
POST ${index}/_close

# Установите тип разделения хранения и вычислений, Основной шард удаляется в течение 48 часов, а реплика — в течение 24 часов.
PUT ${index}/_settings
{
	"index.store.type":"hybrid_storage",
    "index.hybrid_storage.segment.retention_period":"48h", 
    "index.hybrid_storage.segment.replica.retention_period":"24h"
}

# Откройте индекс.
POST ${index}/_open

# Проверка: проверьте, имеет ли атрибут store.type в настройке значение «hybrid_storage».
GET ${index}/_settins

2.2. Обычный индекс.

2.2.1 Уточняйте при создании.

PUT /${index}?pretty {
   "mappings":{
      ...
   },
   "settings":{
      "index.store.type": "hybrid_storage"
   }
}

Настройки также могут содержать параметры погружения и разгрузки.

2.2.2 Автоматическое применение через шаблоны.

После создания шаблона индекса,Если есть новыйизиндексимяможет соответствовать,будет применятьсятрафарет Содержитизmapping、settings。

Например создатьимядля“default_open_hs_template”изтрафарет,Следовать заимядля"log-xxx"изновыйиндекс Это применяется при созданиитрафаретнастраиватьизсодержание：

PUT _template/default_open_hs_template
{
  "index_patterns": [
    "log-*"
  ],
  "settings": {
    "index.store.type": "hybrid_storage"
  }
}

«index_patterns» может быть установлен в «*» для полного соответствия (не может соответствовать data_stream или автономному индексу), а «settings» шаблона также может содержать другие параметры погружения и выгрузки на уровне индекса.

2.3. Автономный индекс (можно игнорировать, если автономный индекс не используется).

2.3.1 Уточняйте при создании.

В поле настроек добавьте настройку «index.store.type»: «hybrid_storage».

PUT /_data_stream/mylog
{
   "mappings": {
      ...
   },
   "settings": {
       ...
       "index.store.type": "hybrid_storage"
	   ...
   },
   "policy": {
      ...
   },
   "options": {
      ...
   }
}

2.3.2. Индекс поддержки для новой прокрутки.

Автономный индекс указывает на несколько резервных индексов, а развернутые резервные индексы необходимо переключать путем повторного закрытия. Для последующих новых индексов отката вы можете обновить настройки автономного индекса, чтобы изменить:

PUT /_data_stream/${имя автономного индекса}/_update
{ 
  "settings":{
	"index.store.type":"hybrid_storage"
  }
}

После динамической настройки все последующие новые индексы будут иметь тип разделения хранилища и вычислений.

2.3.3. Настройка через шаблоны.

Автономные индексы также можно создавать отдельно.,проходитьимясоответствовать。Например,создаватьодинимядля“default_data_stream_open_hs_template”изавтономияиндекс,同时создавать可以соответствовать"*"изавтономияиндекстрафарет

(Примечание. Текущий интерфейс для создания шаблонов автономных индексов аналогичен интерфейсу для создания шаблонов автономных индексов. При создании шаблона автономного индекса также будет создан резервный индекс. Этот автономный индекс нельзя удалить!!)

При использовании шаблонов, чтобы предотвратить автоматическое превращение обычных индексов в автономные индексы в сценариях, где запись инициирует создание, необходимо обновить настройки на уровне кластера.

PUT _cluster/settings
{
	"persistent":{
		"action.auto_create_data_stream.use_default_write_mode": true
	}
}

Затем настройте новый автономный индекс.

PUT /_data_stream/default_data_stream_open_hs_template
{
  "mappings": {
     ...
  },
  "settings": {
     ...
     "index.store.type":"hybrid_storage"
     ...
  },
  "policy": {
     ...
  },
  "options": {
    ....
    "template.patterns": [           # Установить шаблоны сопоставления шаблонов
      "*"
    ],
    "template.priority": 100000      # Приоритет шаблона 
  }
}

Пример:

1. Создайте автономный шаблон индекса.

2. Создайте автономный индекс без каких-либо настроек. После создания вы увидите, что настройки шаблона применяются к новому резервному индексу.

2.4. Устранение неполадок конфигурации сегмента, которая не удаляется.

индекс Конфигурацияretention_periodдаосуществлятьудалитьизпорог,Есть внутриодиннекоторые проверкииндексда Никакого копированияизлогика,Поэтому Конфигурация — 24 часа.,Нетодинбудет строго24hназадудалить：

"index.hybrid_storage.segment.retention_period":"24h",
"index.hybrid_storage.segment.replica.retention_period":"24h"

одиннекоторые влиянияудалитькурокиз Конфигурация：

3. тестовый пример

3.1. Создать индекс

PUT /hybrid?pretty {
   "settings":{
      "index":{
         "number_of_shards":3,  // Один осколок на узел
         "number_of_replicas":1 // 1 копия
      },
      "index.store.type": "hybrid_storage", // Указывает, что индекс является индексом гибридного хранилища, статический. Конфигурация
      "index.hybrid_storage.segment.retention_period": "10m", // segment Период времени от создания индекса до выгрузки, динамический Конфигурация
      "index.hybrid_storage.segment.replica.retention_period": "5m", // Период времени выгрузки сегмента реплики шарда
      "index.hybrid_storage.read.only.period": "5m", //Если после записи данных сегмента в течение такого длительного времени не происходит новой записи, считается, что он достиг состояния только для чтения.
       "index.hybrid_storage.uninstall.check_readonly.enable": true // удалить segment Прежде чем проверять, превышает ли время проверки только для чтения
   }
}

3.2. Подготовка данных

Вставляется один фрагмент данных, а всего вставляется 188 фрагментов данных.

curl -X POST "/hybrid/_doc/?pretty" -H 'Content-Type: application/json' -d'
{
  "@timestamp": "2022-11-15T13:12:00",
  "message": "GET /search HTTP/1.1 200 1070000",
  "user": {
    "id": "elastic"
  }
}
'

3.3. Segment типиллюстрировать

Используйте _cat/segments/index?v для просмотра списка сегментов и статуса указанного индекса. Последний столбец — это столбец состояния. Классификация статусов:

3.2.1. DEFAULT

Состояние по умолчанию. Тип хранилища не Конфигурация. hybrid_storage Индекс или Конфигурация: hybrid_storage индекс, но segment Порог погружения еще не достигнут.

3.2.2. READY_UPLOAD

Ожидание погружения. Сегмент достигать Конфигурацияизраковинапорог,Freeze больше не участвует в слиянии,Ожидание погружения.

3.2.3. UPLOADING

Он тонет, и идет загрузка файла в cos.

3.2.4. UPLOADED

тонущее состояние. Сегмент помещен в объектное хранилище, а также имеется его копия на локальном диске.

3.2.5. UNINSTALLED → OFFLOADED

Статус удален. Сегмент опустился до COS и превышает период времени Конфигурацияизудалить,удалить Удалить локальные файлы данных,Запрос опирается на кэширование и объектное хранилище.

3.4. Базовая проверка процесса

Просмотр сегментов: GET _cat/segments/${index}

3.4.1. Размороженный статус

Конфигурация имеет тип Hybrid_storage или Конфигурация не перешла в замороженное состояние:

3.4.2. Превышение порога конфигурации и переход в замороженное состояние, ожидающее погружения.

3.4.3. Хранилище объектов загружено.

3.5. Запрос и проверка после удаления

Индексация 188 фрагментов данных до и после удаления остается неизменной.

3.5.1. соответствовать всем запросам.

3.5.2. запрос количества

3.6. Получить индекс, снизить уровень осколка, удалить segment количество и процент

Откройте настройки уровня кластера:

PUT _cluster/settings 
{
    "persistent": {
         "cluster.nodes.hybrid_storage_stats.enable": "true"
   }
}

GET _cat/indices/hybrid*?h=index,segments.count,segments.uploaded_count,segments.uninstalled_count,segments.uploaded_percent,segments.uninstalled_percent\&v

GET _cat/shards/hybrid*?h=index,segments.count,segments.uploaded_count,segments.uninstalled_count,segments.uploaded_percent,segments.uninstalled_percent\&v

или: удалено → выгружено

GET _cat/indices/hybrid*?h=index,segments.count,segments.uploaded_count,segments.offloaded_count,segments.uploaded_percent,segments.offloaded_percent\&v
GET _cat/shards/hybrid*?h=index,segments.count,segments.uploaded_count,segments.offloaed_count,segments.uploaded_percent,segments.offloaded_percent\&v

#общийколичество
segments.count：segment 
#опустился до cos из segment количество,Уже удалениеиз также будет включено в расчет (удалить должно было затонуть).
segments.uploaded_count
#ужеудалитьиз segment количество。
segments.uninstalled_count
#опустился до cos из segments процент,ужеудалитьиз Это также будет рассчитано,Формула расчета: (segments.uploaded_count/segments.count) *100。
segments.uploaded_percent
#ужеудалитьиз segment Процент, формула расчета: (segments.uninstalled_count/segments.count) *100。
segments.uninstalled_percent

3.7. Проверка кэша

3.7.1. Проверка запроса.

Поле статистики иллюстрировать

Посмотреть все узлы:

GET _hybrid_storage/cache/stats

Посмотреть все индексы:

GET _hybrid_storage/stats

3.7.2 Проверьте, прошел ли запрос кеш.

Статистика узла:

Посмотреть все узлы:

GET _hybrid_storage/cache/stats

Просмотрите указанный узел:

GET _hybrid_storage/{nodeId}/cache/stats

статистика файлов

Посмотреть все индексы:

GET _hybrid_storage/stats

Просмотрите указанный индекс:

GET {index}/_hybrid_storage/stats

3.7.3. Очистить проверку кэша

Запрос Статистика узла:

GET _hybrid_storage/cache/stats

Очистить кеш

Очистите все индексы:

POST _hybrid_storage/cache/clear

Очистите указанный индекс:

POST {index}/_hybrid_storage/cache/clear

0 иллюстрировать тайник выселен

я участвуюНа третьем этапе специального тренировочного лагеря Tencent Technology Creation 2023 года будет проводиться конкурс сочинений. Соберите команду, чтобы выиграть приз!