иллюстрировать

Проблемы и решения, описанные в этой статье, также применимы к эластичность MapReduce（EMR）。

фон

несколько открытых kerberos из hadoop Между кластерами необходимо осуществлять связь (межкластерная миграция данных и т. д.), поскольку Kerberos Причина не может быть обработана обычным способом. Этот документ слишком длинный. kerberos Междоменная аутентификация выполняется в кластере.

помещение

В обоих кластерах A и B включена проверка подлинности Kerberos.

в: Кластер А -> EMR-5ZP6Q4SO Кластер Б -> EMR-026X9ZB6

шаг

1. Добавьте принципала krbtgt в оба кластера.

#EMR-5ZP6Q4SO
kadmin.local:addprinc -e "des3-cbc-sha1" krbtgt/EMR-5ZP6Q4SO@EMR-026X9ZB6
kadmin.local:addprinc -e "des3-cbc-sha1" krbtgt/EMR-026X9ZB6@EMR-5ZP6Q4SO

#EMR-026X9ZB6
kadmin.local:addprinc -e "des3-cbc-sha1" krbtgt/EMR-5ZP6Q4SO@EMR-026X9ZB6
kadmin.local:addprinc -e "des3-cbc-sha1" krbtgt/EMR-026X9ZB6@EMR-5ZP6Q4SO

ПРИМЕЧАНИЕ. Если ваш изkerberos не отмечен галочкой, emrizkerberos,Тогда метод кодирования, добавленный после параметра -e, должен соответствовать методу кодирования, указанному вами при создании учетных данных для кластера Kerberos.,И добавленные выше учетные данные должны поддерживать согласованность пароля (пароль kdc,emr кластер — это пароль кластера изroot)

2. Настройте ПРАВИЛА сопоставления между субъектом и пользователем на основном сайте.

В консоли core-site.xmlДоставка измерений кластера (обратите внимание, значение необходимо заменить соответственно реальному изкластеру)

hadoop.security.auth_to_local

RULE:[1:$1@$0](^.*@EMR-026X9ZB6$)s/^(.*)@EMR-026X9ZB6$/$1/g
RULE:[2:$1@$0](^.*@EMR-026X9ZB6$)s/^(.*)@EMR-026X9ZB6$/$1/g
RULE:[1:$1@$0](^.*@EMR-5ZP6Q4SO$)s/^(.*)@EMR-5ZP6Q4SO$/$1/g
RULE:[2:$1@$0](^.*@EMR-5ZP6Q4SO$)s/^(.*)@EMR-5ZP6Q4SO$/$1/g 
DEFAULT

После завершения модификации вы можете выполнить следующую проверку:

hadoop org.apache.hadoop.security.HadoopKerberosName hadoop/ip@EMR-5ZP6Q4SO
Name: hadoop/ip@EMR-5ZP6Q4SO to hadoop

Тогда иллюстрировать настроено успешно

3. Настройте файл krb5.conf. а) Настройте [capaths]

Добавьте следующую информацию в файл EMR-026X9ZB6iz/etc/krb5.conf.

[capaths]
       EMR-026X9ZB6 = {
              EMR-5ZP6Q4SO = .
       }
Добавьте следующее в EMR-5ZP6Q4SO
[capaths]
       EMR-5ZP6Q4SO = {
              EMR-026X9ZB6 = .
       }

б) Настройка областей

Чтобы кластер a получил доступ к кластеру b KDC, кластер a KDC должен быть подключен к кластеру a:

[realms]
    EMR-5ZP6Q4SO = {

        kdc = 10.0.0.125:88
        admin_server = 10.0.0.125
        kdc = 10.0.0.73:88
        admin_server = 10.0.0.73
        default_domain = EMR-5ZP6Q4SO
    }

    EMR-026X9ZB6 = {

        kdc = 10.0.0.129:88
        admin_server = 10.0.0.129
        kdc = 10.0.0.9:88
        admin_server = 10.0.0.9
        default_domain = EMR-026X9ZB6
    }

в) Настройте домен_область

[domain_realm]
# .example.com = EXAMPLE.COM
  10.0.0.125 = EMR-5ZP6Q4SO
  10.0.0.129 = EMR-026X9ZB6

Примечание. Здесь нужно поместить все узлы кластера iip и соответствующую им область iskdc для ассоциативной переписки. На этом изменение krb5.conf завершено. Синхронизируйте эту конфигурацию с другими узлами этого кластера (включая ядро/главный/общий/маршрутизатор).

4. Настройте hdfs-site.xml.

Измените hdfs-site.xml в консоли.

dfs.namenode.kerberos.principal.pattern *

Доставка измерений кластера

5. Перезапустите службу.

Перезапустите Керберос Перезапустить пряжу rm Перезапустите hdfs nn Выполните проверку (межкластерное чтение и запись/discp и т. д.)

я участвуюНа третьем этапе специального тренировочного лагеря Tencent Technology Creation 2023 года будет проводиться конкурс сочинений. Соберите команду, чтобы выиграть приз!