Цель написания документа

CDP PVC BASE7.1.8 — это первая локальная версия, которая объединяет все компоненты CDH и HDP и может использоваться в производственных средах после слияния Cloudera и Hortonworks. CDP PvC Base в основном состоит из Cloudera Runtime, состоящей из более чем нескольких компонентов. 40. Он состоит из проектов с открытым исходным кодом. Конечно, CDP PvC Base также включает в себя другие функции, такие как функции управления Cloudera Manager, управление ключами, профессиональная поддержка и т. д. Версии основных компонентов Cloudera Runtime показаны на рисунке ниже:

Other Components

Connectors and Encryption Components

В этом документе в основном описывается, как установить CDP PvC Base7.1.8 на Redhat8.4. Этапы установки CDP PvC Base такие же, как и для CDH, и в основном включают следующие четыре части:

1. Безопасность Подготовка,Сумкавключать Установить Операционная система、Отключить брандмауэр, синхронизация часов сервера и т.д.;
2. Внешняя база данных, такая как установка PostgreSQL.
3. Установить Клаудера Manager；
4. Установить Клаудера Кластер выполнения;

Предварительные условия

Обязательно обратите внимание на CDP PvC Предварительные требования для установки Base см. на сайте CDP. Private Cloud Base Requirements and Supported Версии и продукты Cloudera поддерживают матричный запрос, соответствующий версии Предварительные условия. Соответствует CDP PvC Base7.1.8Давайте поговорим,Предварительные Условия сумки следующие:

Требования к оборудованию

Чтобы оценить распределение оборудования и ресурсов кластера, необходимо проанализировать типы рабочих нагрузок, которые будут выполняться в кластере, и компоненты среды выполнения, которые будут использоваться для выполнения этих рабочих нагрузок. Вам также следует учитывать размер данных, которые вы хотите хранить и обрабатывать, частоту вашей рабочей нагрузки, количество параллельных заданий, которые вам необходимо выполнить, и скорость, необходимую вашему приложению.

При создании архитектуры кластера вам необходимо распределить роли Cloudera Manager и Runtime между хостами кластера, чтобы максимально эффективно использовать ресурсы. Cloudera предоставляет некоторые рекомендации по назначению ролей узлам кластера. См. рекомендуемые хосты кластера и назначения ролей. После назначения хосту нескольких ролей сложите общие требования к ресурсам (памяти, ЦП, диску) каждой роли на хосте, чтобы определить необходимое оборудование.

о конкретном Компоненты Требования к оборудованиюиз Для получения дополнительной информации см. раздел «Требования». к оборудованию

Операционная система

Операционная система следующая:

Пожалуйста, ознакомьтесь с матрицей поддержки продуктов Cloudera.

программные зависимости

• Python - Различия упомянуты ниже CDP Компоненты Python Зависимости:

Cloudera Manager

Cloudera Manager существоватьподдерживатьиз Операционная системаначальствоподдерживать Соответствующая системаизPythonВерсия,Нетподдерживать Python 3。

Hue

Hue требует Python 3.8 и не поддерживает Python 2.

Spark

Spark 2.4 поддерживает Python 2.7 и 3.4–3.7.

Spark 3.0 поддерживает Python 2.7 и 3.4 и более поздних версий, но поддержка Python 2 и 3.4–3.5 устарела.

Spark 3.1 поддерживает Python 3.6 и более поздних версий.

Если правильный уровень Python не выбран по умолчанию, установите переменные среды PYSPARK_PYTHON и PYSPARK_DRIVER_PYTHON, чтобы они указывали на правильный исполняемый файл Python, прежде чем запускать команду pyspark.

• Perl - Cloudera Manager нуждаться perl。
• python-psycopg2 - Cloudera Manager 7 Зависит от пакета python-psycopg2. Клаудера Runtime 7 серединаиз Hue нуждатьсяpsycopg2Сравнивать Cloudera Manager Зависимости выше из Версии.
• пакет iproute- CDP Фонд частного облака использует пакет iproute. любой пробег Cloudera Manager Agent с хостом доставки выждать как сайт сообщение система варьируется:

Требования к файловой системе

Проектирование распределенной файловой системы Hadoop (HDFS) для операционной системасерединаизбазовая файловая система Изначальствобегать。Clouderaпредложить вамиспользоватьсуществоватьподдерживатьиз Операционная Протестируйте одну из двух файловых систем на системизк:

• ext3：Это используется дляHDFSиз Самый проверенныйизбазовая файловая система。
• ext4：ext3изэтот Можетрасширение расширениесуществоватьдо настоящего времениизLinuxВерсиясерединакподдерживать。

Cloudera не поддерживает обновление на месте с ext3 до ext4. Cloudera рекомендует отформатировать диск как ext4, прежде чем использовать его в качестве каталога данных.

• XFS：ЭтоRHEL Файловая система по умолчанию в 7.
• S3：Простая служба хранения Amazon

KuduТребования к файловой системе-Kuduсуществоватьext4иXFSначальствокподдерживать。Kuduнуждатьсяподдерживатьпробивать отверстия(hole пробивка) версия ядра и файловая система.

Время доступа к файлу

Файловые системы Linux хранят метаданные о времени доступа к каждому файлу. Это означает, что даже чтение приводит к записи на диск. Чтобы ускорить чтение файлов, Cloudera рекомендует отключить параметр atime с именем mount, используя параметр noatime в /etc/fstab:

/dev/sdb1 /data1 ext4 defaults,noatime 0

Применить изменения без перезапуска:

mount -o remount /data1

Параметры монтирования файловой системы

В параметрах монтирования файловой системы есть опция синхронизации, которая позволяет синхронизировать записи.

использовать параметры синхронизации монтирования файловой системы снизит производительность записи данных на диск изService из,Например HDFS/YARN/Kafka и Kudu. в ЦДХ,Большая часть текста была написана копировать. поэтому,Синхронная запись на диск ненужна и дорога.,и не значительно улучшает стабильность.

Даже при использовании функции многоуровневого хранилища параметры NFS и NAS не поддерживаются при монтировании каталога данных DataNode.

Требования к файловой системе

Cloudera Manager автоматически устанавливает конфигурацию nproc в /etc/security/limits.conf, но эту конфигурацию можно переопределить с помощью одного файла в /etc/security/limits.d/. Это может вызвать проблемы с Apache Impala и другими компонентами.

Обязательно установите достаточно высокий предел nproc, например 65536 или 262144.

Куду требует NSCD

Хотя это и не является строго обязательным, настоятельно рекомендуется использовать nscd для Kudu для кэширования как разрешения имен DNS, так и разрешения статических имен.

Поддержка внешней базы данных

Подробную информацию о поддерживаемых базах данных см. в матрице поддержки Cloudera.

Таблица 1. в CDP PvC Поддержка базы данных Base7.1.8

Cloudera Manager и Runtime поставляются со встроенной базой данных PostgreSQL для использования в непроизводственных средах. Встроенные базы данных PostgreSQL не поддерживаются в производственных средах. Для производственных сред кластер должен быть настроен на использование выделенной внешней базы данных.

После обновления базы данных «Установить» обновите приезжать до последнего исправления и примените соответствующие обновления. Доступные обновления могут относиться к конкретной системе «Установить Операционная».

Уведомление:

• Cloudera рекомендует в большинстве случаев использовать использовать с узлами кластера в режиме эксплуатации. система соответствует версии базы данных по умолчанию. Если вы выбираете использовать базу данных по умолчанию, обратитесь к разделу «Операция». системаиздокументкпроверятьподдерживать。
• Data Analytics StudioнуждатьсяPostgreSQL 9.6, а RHEL 7.6 предоставляет PostgreSQL 9.2。
• Кодируйте все пользовательские базы данных в UTF8.
• Для MySQL 5.7, необходимо установить MySQL-shared-compat или Общий пакет MySQL. Это Клаудера Manager AgentУстановитьнеобходимыйиз。
• Не поддерживается на основе MySQL GTIDизкопировать。
• Поддержка MySQL из Community Edition и Enterprise Edition, а также конфигурация MySQL, обслуживаемая AWS RDS.
• из CDH 5Обновление до CDH До версии 6 запустите SQL-запрос COMPATIBLEиспользоватьк, чтобы проверить значение параметра инициализации в базе данных Oracle. ：

SELECT name, value FROM v$parameter WHERE name = 'compatible'

Значение по умолчанию — 12.2.0. Если значение параметра отличается, вы можете установить для него значение по умолчанию, как показано в Руководстве по обновлению базы данных Oracle.

Поддержка высокой доступности РСУБД

Различные компоненты Cloudera полагаются на сервисы РСУБД как на критически важную инфраструктуру. Вам могут понадобиться компоненты Cloudera для поддержки развертывания в среде, обеспечивающей высокую доступность вашего сервиса РСУБД. Решения высокой доступности (HA) для РСУБД зависят от конкретной реализации и могут создавать ограничения или изменения поведения в компонентах Cloudera.

В этом разделе поясняется статус поддержки и определяются известные проблемы и ограничения развертываний высокой доступности.

Высокая доступность и балансировка нагрузки

Понимание разницы между высокой доступностью и балансировкой нагрузки важно для компонентов Cloudera, которые разработаны с учетом того, что услуги предоставляются одним экземпляром СУБД. Балансировка нагрузки распределяет операции между несколькими службами РСУБД одновременно, тогда как HA фокусируется на непрерывности обслуживания. Развертывания с балансировкой нагрузки часто используются как часть стратегии высокой доступности, позволяющей избежать необходимости мониторинга и управления отказоустойчивостью в среде высокой доступности. Хотя реализовать балансировку нагрузки непросто, для развертывания балансировки нагрузки требуются приложения, адаптированные к поведению и ограничениям конкретной технологии.

Заявление поддержки: Компоненты Cloudera не предназначены для и не поддерживают какой-либо тип развертывания балансировки нагрузки. Любая стратегия высокой доступности, включающая несколько активных служб РСУБД, должна гарантировать, что все соединения направляются к одной службе РСУБД в любой момент времени, независимо от поставщика или реализации/технологии высокой доступности.

Общая поддержка высокой доступности

Cloudera поддерживает различные варианты СУБД, каждый из которых имеет несколько возможных стратегий реализации высокой доступности. Cloudera не может разумно протестировать и сертифицировать каждую стратегию для каждой СУБД. Cloudera ожидает, что решения высокой доступности для СУБД будут прозрачны для программного обеспечения Cloudera и, следовательно, не будут поддерживаться и отлаживаться Cloudera. Клиент несет ответственность за предоставление, настройку и управление развертыванием РСУБД высокой доступности, чтобы программное обеспечение Cloudera демонстрировало дифференцированное поведение при взаимодействии с отдельными сервисами, не относящимися к высокой доступности. Если в кластере включена высокая доступность, Cloudera будет поддерживать клиентов и помогать им решать проблемы. При диагностике проблем, связанных с базой данных в компонентах Cloudera, клиентам может потребоваться временно отключить или обойти механизм высокой доступности в целях устранения неполадок. Если обнаружена проблема, связанная с высокой доступностью, клиент обязан связаться с поставщиком базы данных, чтобы найти решение проблемы.

Заявление поддержки: Служба поддержки Cloudera может попросить клиентов временно обойти уровень высокой доступности и подключиться напрямую к поддерживаемому серверу СУБД, чтобы решить проблему. В обязанности администратора базы данных клиента входит устранение проблем, обнаруженных при подключении только через уровень высокой доступности.

JDK

Подробную информацию о поддерживаемых JDK см. в матрице поддержки Cloudera.

Поддерживаются только 64-битные JDK.

Если явно не исключено, Cloudera поддерживает обновления до более поздних версий основной версии JDK, начиная с версии, в которой была введена поддержка. Cloudera исключает или прекращает поддержку определенных обновлений Java при угрозе безопасности.

Запуск узлов среды выполнения в одном кластере в разных версиях JDK не поддерживается. Все узлы кластера должны использовать один и тот же уровень обновления JDK.

Требования к сети и безопасности

Версии безопасности транспортного уровня, поддерживаемые Cloudera Runtime и Cloudera Manager. Поддерживаемые компоненты см. в списке поддерживаемых компонентов TLS.

Cloudera Во время развертывания Manager хост должен соответствовать следующим требованиям: к сети и безопасности：

Поддержка сетевых протоколов

CDH требует IPv4. IPv6 не поддерживается и должен быть отключен.

Поддержка множественной адресации

Многосетевая адресация не поддерживается в CDH или Cloudera Manager, за исключением специально сертифицированных партнерских устройств Cloudera. Cloudera обнаружила, что текущая архитектура Hadoop в сочетании с современной сетевой инфраструктурой и методами обеспечения безопасности устраняет необходимость в множественной адресации. Однако множественная адресация по своей сути является преимуществом в виде устройств, использующих межсоединения InfiniBand с высокой пропускной способностью.

Существуют некоторые известные проблемы с множественной адресацией, хотя некоторые части продукта могут работать с неподдерживаемыми пользовательскими конфигурациями множественной адресации. Кроме того, могут возникнуть неизвестные проблемы, поскольку множественная адресация не охвачена матрицей тестирования за пределами сертифицированных партнерских устройств Cloudera.

энтропия

Шифрование хранящихся данных достаточно для обеспечения случайности.

• Узел кластера должен иметь действующую систему разрешения сетевых имен и иметь правильный формат. /etc/hostsдокумент。Все хосты кластера должны пройтиDNSправильный Конфигурациявпереди Обратное разрешение хоста。Эти/etc/hostsдокументдолжен：
  • Сумма содержит последовательную информацию обо всех хостах: имя хоста и IP-адрес.
  • Не включайте имена хостов в верхнем регистре
  • Не содержит повторяющихся IP-адресов

/etc/hosts Хосты кластера не должны использовать псевдонимы при настройке DNS или при настройке DNS. Правильно отформатированный файл /etc/hosts должен выглядеть следующим образом:

127.0.0.1 localhost.localdomain localhost
192.168.1.1 cluster-01.example.com cluster-01
192.168.1.2 cluster-02.example.com cluster-02
192.168.1.3 cluster-03.example.com cluster-03

• В большинстве случаев при запуске мастера установки или обновления Cloudera Manager Сервер должен иметь доступ по SSH к узлу кластера. Вы должны войти в систему с использованием учетной записи root или с учетной записью с правами sudo без пароля. Для аутентификации во время обновления необходимо ввести пароль или учетную запись пользователя root или sudo, чтобы загрузить пару открытого и закрытого ключей. Если вы хотите использовать пару открытого и закрытого ключей, используйте Cloudera. Перед Manager вы должны находиться в кластере Установить на открытый ключ хоста.

Cloudera Manager использует SSH только во время первоначальной установки или обновления. После настройки кластера вы можете отключить root-доступ по SSH или изменить пароль root. Cloudera Manager не сохраняет учетные данные SSH, и вся информация об учетных данных удаляется после завершения установки.

• Cloudera Manager Когда агент запускается от имени пользователя root, он гарантирует создание необходимых каталогов и создание файлов процесса соответствующим пользователем (например, hdfsmapred пользователь) владеет.
• Усиливать БезопасностьсексизLinux（SELinux）Нетнужно остановитьCloudera Менеджер или операция во время выполнения.

Уведомление

Поддержка Cloudera на платформах с включенной Security Enhanced Linux (SELinux) и в принудительном режиме. Enterprise . Cloudera не несет ответственности за политику разработки, поддержки или реализации SELinux. Если в давать Возможность Если у вас возникли проблемы при запуске программного обеспечения Cloudera под SELinuxиз, обратитесь в Операционную службу. Свяжитесь с поставщиком системы для получения помощи.

Если вы находитесь в принудительном режиме, используйте SELinux,Затем снисходительность при расследовании проблем и сообщении о них.,Clouderaподдерживать Можеткпрошу тебя Отключить SELinux или режим Изменить Чтобы исключить SELinux.

• Необходимо отключить или настроить брандмауэр (например, iptables и firewalld),ªРазрешить доступ к Cloudera Диспетчер, среда выполнения и связанные службы используютиз порта.
• Для RHEL и CentOS файл /etc/sysconfig/network на каждом хосте должен содержать правильное имя хоста.
• Cloudera Manager и Runtime позволяют использовать несколько учетных записей пользователей и групп для выполнения своих задач. Набор учетных записей пользователей и групп различается в зависимости от выбранного вами компонента Установитьиз. Не удаляйте эти учетные записи или группы.,Не изменяйте его разрешения. Убедитесь, что нет существующих систем, препятствующих правильному функционированию этих учетных записей и групп. Например,Если у вас есть скрипт удаления учетной записи пользователя, которого нет в белом списке,Затем добавьте эти учетные записи на поверхность столбца «Разрешено приезжать из учетных записей».

Для получения более подробной информации см.：Требования к сети и безопасности

тестовая среда

‍

1. Версия Cloudera Manager — 7.7.1.
2. Cloudera Runtimeиз Версиядля7.1.8
3. Redhat 8.4
4. OpenJDK 1.8.0_141
5. MariaDB 10.2
6. Пользователь root Установить (пользователь без полномочий root Установить также не имеет проблем с необходимостью использования разрешений sudo)
7. 5 узлов

Подготовка

имя хоста и конфигурация хостов

Каждый узел кластера может взаимодействовать друг с другом, используя статические IP-адреса. IP-адрес и имя хоста проходят через /etc/конфигурация хостов, а имя хоста — через /etc/hostname Конфигурация. Ссылка: Конфигурация имени сети.

В качестве примера возьмем узел cm (172.27.103.129):

конфигурация имени хоста

Файл /etc/hostname выглядит следующим образом:

[root@grocery-1 ~]# cat /etc/hostname
ccycloud-1.grocery.root.hwx.site

Или вы можете изменить его с помощью команды, чтобы он вступил в силу немедленно.

[root@grocery-1 ~]# hostnamectl set-hostname ccycloud-1.grocery.root.hwx.site

конфигурация хостов

Файл /etc/hosts выглядит следующим образом:

[root@ccycloud-1 ~]# cat /etc/hosts
127.0.0.1  localhost
::1  localhost ip6-localhost ip6-loopback
fe00::0  ip6-localnet
ff00::0  ip6-mcastprefix
ff02::1  ip6-allnodes
ff02::2  ip6-allrouters
172.27.188.66 ccycloud-1.grocery.root.hwx.site ccycloud-1
[root@ccycloud-1 ~]#

После двух вышеуказанных шагов соответствующим образом настройте другие узлы в кластере. Подтвердите файлы хостов всех хостов, которые необходимо установить:

Здесь используется DNS, а IP-адреса всех узлов не настраиваются во всех файлах хостов. Если вы используете файл хостов, вам необходимо настроить IP-адреса всех узлов в файле /etc/hosts.

Настройка взаимного доверия

Сгенерируйте ключи на узле управления и настройте взаимное доверие для всех узлов.

Сгенерировать ключ:

[root@ccycloud-1 ~]# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:JJhXYOx4GpwZ4ofeaoUHPSVlRFov3ywhrCEwE1u9Cfg root@ccycloud.grocery.root.hwx.site
The key's randomart image is:
+---[RSA 2048]----+
|=o.. =O..        |
|.*o +Ooo         |
|.o.*=@* +        |
|  E.%+o* +       |
| . =.=  S o      |
|  o =    .       |
|   +             |
|  o              |
| .               |
+----[SHA256]-----+
[root@ccycloud-1 ~]#

Для частей, требующих интерактивного ввода, просто введите и нажмите Enter (если у предприятия есть внутренние требования, следуйте требованиям)

Распространите сгенерированный ключ на все узлы и настройте взаимное доверие для всех узлов.

for i in {1..5}; do ssh-copy-id -i ~/.ssh/id_rsa.pub ccycloud-$i.grocery.root.hwx.site ; done

В интерактивном режиме введите «да» и пароль доступа соответствующего узла.

Проверьте взаимное доверие

После завершения взаимного доверия между главным узлом и другими узлами выполните команду на главном узле, которая выполняется на всех узлах, чтобы проверить взаимное доверие и подтвердить, что к другим узлам можно получить доступ без ввода пароля.

[root@ccycloud-1 ~]# for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site " hostname -A" ; done
ccycloud-1.grocery.root.hwx.site
ccycloud-2.grocery.root.hwx.site
ccycloud-3.grocery.root.hwx.site
ccycloud-4.grocery.root.hwx.site
ccycloud-5.grocery.root.hwx.site
[root@ccycloud-1 ~]#

Установите другие инструменты и программное обеспечение

Установите следующее программное обеспечение на рабочий узел.

yum -y install createrepo wget unzip

Установить http-сервис

Установить httpd-сервис

sudo yum -y install httpd

Изменить файл конфигурации

Измените файл конфигурации /etc/httpd/conf/httpd.conf.,существовать<IfModule mime_module>середина Исправлятьк Следующий контент

AddType application/x-gzip .gz .tgz .parcel

Вы можете использовать следующую команду для прямой замены

sed -i 's/AddType application\/x-gzip .gz .tgz/AddType application\/x-gzip .gz .tgz .parcel/' /etc/httpd/conf/httpd.conf

4. Сохраните изменения в httpd.conf и перезапустите службу httpd.

Настройте и запустите службу httpd

systemctl enable httpd
systemctl start httpd
systemctl status httpd

Откройте http://cccloud-1.grocery.root.hwx.site/ через браузер, чтобы проверить, можете ли вы нормально получить доступ к службе HTTP, как показано на рисунке ниже.

Конфигурация Операционная системаrepo

Если в системе уже смонтирована Операционная системаизрепо, пропустите этот шаг. В противном случае нуждаться Сейчас работает на машине Конфигурация Операция системный образ.

устанавливать Операционная системаisoдокумент

Уведомлениеустанавливатьпереписыватьсяиз Операционная система Версия。

sudo mkdir /media/DVD1
sudo mount -o loop CentOS-7-x86_64-DVD-1611.iso /media/DVD1/

Конфигурация Операционная системаrepo

$ sudo vim /etc/yum.repos.d/local_os.repo
[local_iso]
name=CentOS-$releasever - Media
baseurl=file:///media/DVD1
gpgcheck=0
enabled=1
$ sudo yum repolist

Переделать репозиторий ОС

Установитьнадhttpdназад,Восстановите репозиторий операционной системы.,Перейдите в режим http, чтобы другие серверы также могли получить к нему доступ.

[ec2-user@ip-172-31-2-159 ~]$ sudo mkdir /var/www/html/iso
[ec2-user@ip-172-31-2-159 ~]$ sudo scp -r /media/DVD1/* /var/www/html/iso/
[ec2-user@ip-172-31-2-159 ~]$ sudo vim /etc/yum.repos.d/os.repo
[osrepo]
name=os_repo
baseurl=http://grocery-1.vpc.cloudera.com/iso/
enabled=true
gpgcheck=false
[ec2-user@ip-172-31-2-159 ~]$ sudo yum repolist

Распространение репозитория ОС

Распространите файлы Операционной системыизрепо на другие машины.

for i in {2..5}; do scp /etc/yum.repos.d/os.repo grocery-$i.vpc.cloudera.com:/etc/yum.repos.d/os.repo; done

Обновление программного обеспечения и ядра системы

использовать Следующая команда обновляет все Сумки, а также Обновление программного обеспечения и ядра системы. Если при обновлении ядра системы возникает ошибка, пропустите этот шаг.

for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site " yum -y update " ; done

Отключить SELinux

Выполните команду setenforce 0 на всех узлах. Здесь используйте пакетную оболочку для выполнения:

for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site " setenforce 0  " ; done

Изменить файл конфигурациизакрытьSELinux。

#Закрыть selinux
для я в {1..6}; do ssh ccycleud-$i.grocery.root.hwx.site 'sed –i "7s/enforcing/disabled/g" /etc/selinux/config ' ;done

Вы также можете вручную изменить файл /etc/selinux/config следующим образом:

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three two values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected.
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

Отключить брандмауэр

Все узлы в кластере выполняют команду systemctl stop. Здесь команда выполняется пакетно через оболочку следующим образом:

##Отключить брандмауэр
for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'systemctl disable firewalld' ; done
for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'systemctl stop firewalld.service' ; done
for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'systemctl list-unit-files | grep firewalld' ; done
for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'systemctl status firewalld.service' ; done

Синхронизация часов кластера

существоватьRedhat7.xиз Операционная системаначальство,Chrony по умолчанию установлен на из Установить,Вы также можете напрямую синхронизировать часы с помощью chrony. Здесь мы используем Chrony для настройки синхронизации часов на каждом компьютере.,Используйте службу cm (172.27.161.0) как для локального сервера chronyd.,Разрешает синхронизацию остальных 5 серверов в сегменте сети для (172.27.0.0/16).

Установите chrony и ntpdate на все машины.

##Установка часового пояса и синхронизация часов
для я в {1..6}; do ssh ccycleud-$i.grocery.root.hwx.site 'yum -y install chrony'; готово
для я в {1..6}; do ssh ccycleud-$i.grocery.root.hwx.site 'timedatectl set-timezone Asia/Shanghai' ; сделанный
для я в {1..6}; do ssh ccycleud-$i.grocery.root.hwx.site 'chkconfig --level 345 chronyd on'; сделанный

Сервер Chrony настраивает часы для синхронизации с самим собой

Если у предприятия есть собственный сервер часов, синхронизируйте его с собственным сервером часов предприятия, в противном случае синхронизируйте с часами CM.

На стороне сервера есть 2 модификации: серверная и разрешающая части.

[root@grocery-1 ~]# vim /etc/chrony.conf
server ccycloud-1.grocery.root.hwx.site iburst
#allow 192.168.0.0/16
allow 172.27.0.0/16

[root@ccycloud-1 ~]# egrep -v "^#|^$" /etc/chrony.conf
[root@ccycloud-1 ~]# egrep -v "^#|^$" /etc/chrony.conf
server ccycloud-1.grocery.root.hwx.site iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
allow 172.27.0.0/16
keyfile /etc/chrony.keys
leapsectz right/UTC
logdir /var/log/chrony

Включить синхронизацию

systemctl enable chronyd
systemctl restart chronyd
# Проверьте статус синхронизации времени
timedatectl status
# Включите синхронизацию времени по сети
timedatectl set-ntp true

Настройте клиентов на других узлах кластера и настройте их на поиск компьютера cm для синхронизации.

vi /etc/chrony.conf, измените два места: часть server_allow.
# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
server ccycloud-1.grocery.root.hwx.site iburst


# Allow NTP client access from local network.
allow ccycloud-1.grocery.root.hwx.site

Включить синхронизацию

systemctl enable chronyd
systemctl restart chronyd


# Проверьте статус синхронизации времени
timedatectl status
# Включите синхронизацию времени по сети
timedatectl set-ntp true

Команда пакетного включения синхронизации выглядит следующим образом:

for i in {1..6}; do ssh ccycloud-$i.grocery.root.hwx.site ' systemctl enable chronyd'  ;done
for i in {1..6}; do ssh ccycloud-$i.grocery.root.hwx.site ' systemctl restart chronyd'  ;done
for i in {1..6}; do ssh ccycloud-$i.grocery.root.hwx.site ' timedatectl status'  ;done
for i in {1..6}; do ssh ccycloud-$i.grocery.root.hwx.site ' timedatectl set-ntp true'  ;done

Проверка всегда синхронизирована

Подождав несколько минут, выполните следующую команду на всех узлах. Используйте сценарий для пакетного выполнения следующим образом:

Посмотреть источник синхронизации времени:

chronyc sources -v

Проверьте состояние источника синхронизации времени:

chronyc sourcestats -v

Установите аппаратное время

Аппаратное время по умолчанию установлено в формате UTC:

timedatectl set-local-rtc 1

Включите синхронизацию времени NTP:

timedatectl set-ntp yes

Калибровка сервера времени:

chronyc tracking

Слева появится значок *, указывающий на успешную синхронизацию.

Настроить обмен

Выполнение узла управления

[root@ccycloud-1 ~]# #Устанавливаем vm.swappiness
[root@ccycloud-1 ~]# for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'echo "vm.swappiness = 1" >> /etc/sysctl.conf' ; done
[root@ccycloud-1 ~]# for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'sysctl vm.swappiness=1' ; done

Настройте прозрачную огромную страницу

Выполнение узла управления

#Настройте прозрачную огромную страницу
for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.d/rc.local' ; done
for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.d/rc.local' ; done
for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' ; done
for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' ; done
for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'chmod +x /etc/rc.d/rc.local' ; done
for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'cat /etc/rc.d/rc.local' ; done

отключить iptables

Выполнение узла управления：

#отключить iptables
for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'systemctl stop iptables' ; done
for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'chkconfig iptables off' ; done

Установить ограничения

Выполнение узла управления：

#Установить ограничения
for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'echo "hdfs - nofile 32768" >> /etc/security/limits.conf' ; done
for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'echo "mapred - nofile 32768" >> /etc/security/limits.conf' ; done
for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'echo "hbase - nofile 32768" >> /etc/security/limits.conf' ; done
for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'echo "hdfs - noproc 32768" >> /etc/security/limits.conf' ; done
for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'echo "mapred - noproc 32768" >> /etc/security/limits.conf' ; done
for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'echo "hbase - noproc 32768" >> /etc/security/limits.conf' ; done

Установить Мария ДБ

Добавьте исходный код yum MariaDB.

## MariaDB 10.5
cat - >/etc/yum.repos.d/MariaDB.repo <<EOF
[mariadb]
name = MariaDB
baseurl = http://mirrors.ustc.edu.cn/mariadb/yum/10.5/centos7-amd64/
gpgkey=http://mirrors.ustc.edu.cn/mariadb/yum/RPM-GPG-KEY-MariaDB
gpgcheck=1
EOF

Выполните следующим образом:

# Проверьте, есть ли источник MariaDB.
[root@ccycloud-1 ~]# yum repolist enabled | grep MariaDB
Failed to set locale, defaulting to C
mariadb                           MariaDB                                   95+4
[root@ccycloud-1 ~]#

Установить Мария ДБСервериклиент

yum install -y mariadb-server

Измените файл конфигурации MariaDB.

cat  > /etc/my.cnf <<EOF
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
symbolic-links = 0
# Settings user and group are ignored when systemd is used.
# If you need to run mysqld under a different user or group,
# customize your systemd unit file for mariadb according to the
# instructions in http://fedoraproject.org/wiki/Systemd


key_buffer = 16M
key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1


max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M


#log_bin should be on a disk with enough free space.
#Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your
#system and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log


#In later versions of MariaDB, if you enable the binary log and do not set
#a server_id, MariaDB will not start. The server_id must be unique within
#the replicating group.
server_id=1


binlog_format = mixed


read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M


# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M


[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid


#
# include all files from the config directory
#
!includedir /etc/my.cnf.d
EOF

Дополнительные настройки параметров

Если база данных HUE включена, добавьте следующие три параметра в файл my.cnf.

1. Убедитесь, что для атрибута адреса привязки установлено значение 0.0.0.0илисуществоватьпо умолчаниюценитьизслучай закомментирован。

bind-address=0.0.0.0

1. Убедитесь, что для свойства default-storage-engine установлено значение innodb.

default-storage-engine=innodb

1. Убедитесь, что для атрибута sql_mode установлено значение STRICT_ALL_TABLES, чтобы избежать усечения столбцов во время миграции.

sql_mode=STRICT_ALL_TABLES

1. Сохраните файл и выйдите.

1. Перезапустите сервер базы данных.

Запустите базу данных MariaDB.

echo "--Enable and start MariaDB"
systemctl enable mariadb
systemctl start mariadb

Запустите /usr/bin/mysql_secure_installation, чтобы установить MariaDB Пароль root и другие настройки, связанные с безопасностью. В новой установке пароль root пуст. Когда вам будет предложено ввести root При вводе пароля нажмите Введите ключ.Остальные советы,Пожалуйста, введите нижек Смелыйсписокизответ：

sudo /usr/bin/mysql_secure_installation
[...]
Enter current password for root (enter for none):
OK, successfully used password, moving on...
[...]
Set root password? [Y/n] Y
New password:
Re-enter new password:
[...]
Remove anonymous users? [Y/n] Y
[...]
Disallow root login remotely? [Y/n] N
[...]
Remove test database and access to it [Y/n] Y
[...]
Reload privilege tables now? [Y/n] Y
[...]
All done!  If you've completed all of the above steps, your MariaDB
installation should now be secure.


Thanks for using MariaDB!

Создать базу данных MariaDB

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'cloudera';


CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'cloudera';


CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'cloudera';


CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'cloudera';


CREATE DATABASE efm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON efm.* TO 'efm'@'%' IDENTIFIED BY 'cloudera';


CREATE DATABASE nifireg DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON nifireg.* TO 'nifireg'@'%' IDENTIFIED BY 'cloudera';


CREATE DATABASE registry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON registry.* TO 'registry'@'%' IDENTIFIED BY 'cloudera';


CREATE DATABASE streamsmsgmgr DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON streamsmsgmgr.* TO 'streamsmsgmgr'@'%' IDENTIFIED BY 'cloudera';


CREATE DATABASE ranger DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON ranger.* TO 'ranger'@'%' IDENTIFIED BY 'cloudera';

Установите драйвер jdbc

Загрузите драйвер MySQL jdbc из Интернета и разархивируйте его:

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.48.tar.gz
tar zxvf mysql-connector-java-5.1.48.tar.gz

#Создаем каталог хранения jdbc

for i in {1..6}; do ssh ccycloud-$i.grocery.root.hwx.site 'mkdir -p /usr/share/java/' ; done

#Копируем jdbc в соответствующие каталоги всех узлов

for i in {1..6}; do scp ~/mysql-connector-java-5.1.48/mysql-connector-java-5.1.48-bin.jar  ccycloud-$i.grocery.root.hwx.site:/usr/share/java/mysql-connector-java.jar; done

Установить PostgreSQL

Если вы используете MariaDB, пропустите часть PostgreSQL. Справочник по установке и развертыванию базы данных PostgreSQL: https://docs.cloudera.com/cdp-private-cloud-base/latest/installation/topics/cdpdc-install-config-postgresql-for-cdp.html.

Загрузите и установите исходный код yum

Загрузите исходный код PostgreSQL10 yum с https://yum.postgresql.org/,

После ввода из 10 выберите соответствующую из Операционная система Версия:

Вы также можете сохранить соответствующую ссылку и загрузить ее через команду wget:

https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm

Установите исходный код PG yum

rpm -ivh pgdg-redhat-repo-latest.noarch.rpm

Посмотреть исходный код PG yum

ls -lrt /etc/yum.repos.d/

yum list postgresql*

Установить PostgreSQL

Наша команда «Установить базу данных PostgreSQL10iz» Версия, «Установить» выглядит следующим образом:

sudo yum -y install postgresql10-server

Установите пакет Python psycopg2.

В среде выполнения 7 Hue требуется версия 2.7.5 или выше пакета Python psycopg2 для подключения к базе данных PostgreSQL. Пакет psycopg2 автоматически устанавливается как зависимость от агента Cloudera Manager, но установленная версия обычно ниже 2.7.5.

Если вы хотите установить Runtime 7 и использовать PostgreSQL с базой данных Hue, вам необходимо установить psycopg2 2.7.5 или выше на всех хостах Hue, как показано ниже. Эти примеры устанавливают версию 2.7.5:

1. Установите пакет python-pip:

sudo yum  -y install python-pip
for i in {1..4}; do ssh grocery-$i.vpc.cloudera.com " sudo yum  -y install python-pip" ; done

1. Обновить версию пипа

pip install --upgrade pip
for i in {1..4}; do ssh grocery-$i.vpc.cloudera.com " pip install --upgrade pip " ; done

1. psycopg2использоватьpipкотдать приказ Установить2.7.5 ：

sudo pip install psycopg2==2.7.5 --ignore-installed
for i in {1..4}; do ssh grocery-$i.vpc.cloudera.com " sudo pip install psycopg2==2.7.5 --ignore-installed " ; done

Настройте и запустите сервер PostgreSQL

По умолчанию PostgreSQL принимает соединения только через интерфейс обратной связи. Вам необходимо перенастроить PostgreSQL, чтобы он принимал соединения от полного доменного имени (FQDN) хоста, на котором размещена служба, для которой вы хотите настроить базу данных. Без этих изменений службы не смогут подключаться и использовать базы данных, от которых они зависят.

Если вы вносите изменения в существующую базу данных, обязательно остановите все службы, использующие базу данных, прежде чем продолжить.

1. Обязательно установите для LC_ALL значение дляen_US.UTF-8 и инициализируйте данные базы следующим образом:

RHEL 7：

echo 'LC_ALL="en_US.UTF-8"' >> /etc/locale.conf
/usr/pgsql-10/bin/postgresql-10-setup initdb

1. Возможность предоставить MD5-аутентификацию. Отредактируйте pg_hba.conf,в целомсуществовать/var/lib/pgsql/dataили/etc/postgresql/<version>/mainсерединапопытаться найтиприезжать。

Добавьте следующие строки:

host all all 127.0.0.1/32 md5

Если файл pg_hba.conf по умолчанию содержит следующие строки:

host all all 127.0.0.1/32 ident

Затем перед этой строкой необходимо вставить строку аутентификации md5, указанную хостом, показанную выше. В противном случае при запуске скрипта могут возникнуть ошибки аутентификации.

Проще говоря, вы можете разрешить всем машинам доступ через md5.

Вы можете изменить содержимое строк, показанных выше, для поддержки различных конфигураций.

1. Настройки конфигурации Убедитесь, что ваша система работает должным образом. в /var/lib/pgsql/data/postgresql.conf или /var/lib/postgresql/data/postgresql.confдокументсерединавозобновлять Этинастраивать。Настройки различаются в зависимости от размера кластераи Ресурсы различаются,Как показано ниже:

• Малые и средние кластеры — установите следующие настройки в качестве отправной точки. Если ресурсы ограничены,Пожалуйста, рассмотрите возможность дальнейшего уменьшения размера буфера и сегментов контрольных точек. В зависимости от использования ресурсов каждого хоста,Может нуждаться в постоянных корректировках. Например,Если сервер Cloudera Manager работает на том же хосте, что и другие роли,но Можеткприниматькболее низкое значение：
  • max_connection — обычно,Разрешает максимум 100 подключений к базе данных на хосте.,Затемдобавить в50дополнительныйизсоединять。нравитьсяВыполняется настройка подключенияописал,Возможно, вам придется увеличить системные ресурсы, доступные PostgreSQL.
  • Shared_buffers -256 МБ (у PG10 нет этого параметра)
  • wal_buffers -8MB
  • checkpoint_segments — 16 (у PG10 нет этого параметра)
  • checkpoint_completion_target - 0.9
  • listen_addresses = '*'

1. Конфигурация сервера PostgreSQL запускается при загрузке.

sudo systemctl enable postgresql-10

1. Перезапустите базу данных PostgreSQL:

sudo systemctl restart postgresql-10

Создать базу данных

Для следующих компонентов требуется база данных:

• Cloudera Manager Server
• Cloudera Management Service roles:
• Reports Manager
• Hue
• Each Hive metastore
• Oozie
• Data Analytics Studio
• Ranger

База данных должна быть настроена для поддержки кодировки набора символов PostgreSQL UTF8.

Запишите имя базы данных, имя пользователя и пароль, которые вы ввели. Установка Cloudera Manager Wizard нуждаться Эта информация необходима для корректного подключения к этим базам данных.

Уведомление:

Чтобы использовать DAS, установите базу данных PostgreSQL версии 9.6.

шаг:

1. Подключитесь к PostgreSQL:

sudo -u postgres psql

1. На следующей поверхности вы можете использовать каждый сервис «Создать ресурсы данных»:

CREATE ROLE <user> LOGIN PASSWORD '<password>';
CREATE DATABASE <database> OWNER <user> ENCODING 'UTF8';

ты Можеткдля<database>, <user>и<password>использоватьвсе необходимоеизценить。к Следующий пример:Cloudera Имена по умолчанию указаны в настройках конфигурации Менеджера, но использовать их не обязательно:

Инструкция создания таблицы выглядит следующим образом:

CREATE ROLE scm LOGIN PASSWORD 'cloudera';
CREATE DATABASE scm OWNER scm ENCODING 'UTF8';


CREATE ROLE amon LOGIN PASSWORD 'cloudera';
CREATE DATABASE amon OWNER amon ENCODING 'UTF8';


CREATE ROLE rman LOGIN PASSWORD 'cloudera';
CREATE DATABASE rman OWNER rman ENCODING 'UTF8';


CREATE ROLE hue LOGIN PASSWORD 'cloudera';
CREATE DATABASE hue OWNER hue ENCODING 'UTF8';


CREATE ROLE hive LOGIN PASSWORD 'cloudera';
CREATE DATABASE metastore OWNER hive ENCODING 'UTF8';


CREATE ROLE oozie LOGIN PASSWORD 'cloudera';
CREATE DATABASE oozie OWNER oozie ENCODING 'UTF8';


CREATE ROLE das LOGIN PASSWORD 'cloudera';
CREATE DATABASE das OWNER das ENCODING 'UTF8';


CREATE ROLE rangeradmin LOGIN PASSWORD '!Beijing28';
CREATE DATABASE ranger OWNER rangeradmin ENCODING 'UTF8';
GRANT ALL PRIVILEGES ON DATABASE ranger TO rangeradmin;

Установите драйвер Postgresql-jdbc.

1. Установить PostgreSQLсоединятьустройство：

yum install postgresql-jdbc*

1. Поместите файл .jar соединителя копироватьприезжать в общий каталог Java:

cp /usr/share/java/postgresql-jdbc.jar /usr/share/java/postgresql-connector-java.jar

1. Убедитесь, что файл .jar находится в общем каталоге Java:

ls /usr/share/java/postgresql-connector-java.jar

1. Файл .jar в режиме доступа Изменитьдля644:

chmod 644 /usr/share/java/postgresql-connector-java.jar

Полная команда выглядит следующим образом:

for i in {1..6}; do ssh grocery-$i.vpc.cloudera.com " sudo yum -y install postgresql-jdbc* " ; done
for i in {1..6}; do ssh grocery-$i.vpc.cloudera.com " cp /usr/share/java/postgresql-jdbc.jar /usr/share/java/postgresql-connector-java.jar " ; done
for i in {1..6}; do ssh grocery-$i.vpc.cloudera.com " ls /usr/share/java/postgresql-connector-java.jar " ; done
for i in {1..6}; do ssh grocery-$i.vpc.cloudera.com " chmod 644 /usr/share/java/postgresql-connector-java.jar" ; done

Установить MySQL

Если вы используете Mysql, пропустите часть Mariadb/PostgreSQL. Справочник по установке и развертыванию базы данных MySQL: https://docs.cloudera.com/cdp-private-cloud-base/latest/installation/topics/cm_ig_mysql.html.

Установить JDK

Мы здесь используем Операционная система поставляется с isopenjdk, установите ее заранее. Вы также можете просто установить узел Cloudera Manager, а затем открыть JDK с помощью мастера.

#УстановитьopenJDK1.8

for i in {1..5}; do ssh ccycloud-$i.grocery.root.hwx.site 'yum -y install java-1.8.0-openjdk.x86_64 java-1.8.0-openjdk-headless.x86_64 java-1.8.0-openjdk-devel.x86_64' ; done

Подготовка СМИ

1. Войдите на официальную домашнюю страницу Cloudera https://www.cloudera.com/.,НажмитеProducts->Download

1. Откройте домашнюю страницу загрузки продуктов Cloudera https://www.cloudera.com/downloads.html.

1. Для CDP PvC Для базовых продуктов имеются две ссылки для скачивания: Загрузить NowиFree Trial,соответствующий соответственноClouderaподписчикипробный пользователь。

Приобретение медиа-версии пробной версии

1. Нажмите «Бесплатная пробная версия», чтобы перейти на страницу загрузки пробной версии https://www.cloudera.com/downloads/cdp-private-cloud-trial/cdp-private-cloud-base-trial.html:

1. Нажмите «Попробовать сейчас», чтобы перейти на страницу приложения для загрузки продукта:

1. Если знака нет, то нуждаться сначала войдите в систему. После входа в систему перейдите на страницу условий загрузки:

1. Примите условия и отправьте заявку, войдите на страницу установки пробной версии.

ПРИМЕЧАНИЕ. Пробные версии невозможно легко обновить, создать резервную копию или перенести в готовую к работе конфигурацию без действий, описанных здесь вручную. Если вы планируете переместить эту систему в производственную систему, рассмотрите возможность использования описанного здесь процесса установки.

1. Склад пробной версии соответствует:

https://archive.cloudera.com/cm7/

https://archive.cloudera.com/cdh7/

скачать носитель, когда Уведомление выберет el8из Версия

Подпишитесь на получение пользовательских медиа

1. Нажмите «Загрузить сейчас», чтобы перейти на страницу загрузки для подписчиков https://www.cloudera.com/downloads/cdp-data-center.html.

1. Страница переходит на страницу создания учетных данных:

Уведомление: Для подписанных пользователей все методы Установить,Вы предоставите свои учетные данные и лицензионный ключ CDP по электронной почте для доступа к репозиторию Cloudera. Если у вас нет доступа к этим дополнительным учетным данным,но Можеткпроходить Воля Может Можетсертификатдокументизсодержаниекопироватьи вставитьприезжатьв следующих инструментах,снова используйте лицензионный ключ для создания учетных данных.

1. Вставьте все содержимое вашей подписки изLicenseизкопировать в раздел «Создать учетные данные»:

1. Нажмите «Получить учетные данные».,Информация о подписке и учетной записи будет сгенерирована.,Суммакакскачатьизимяпользователяипароль,Как показано ниже:

1. Сохраните соответствующее имя пользователя и пароль.,Для последующего из среднего скачать.
2. Для домашних пользователей необходимо нуждаться в автономном режиме. Установить CDP PvC Baseиз, средний путь поиска для:

Cloudera Manager Repository:
https://username:password@archive.cloudera.com/p/cm7/7.7.1/redhat8/yum
Cloudera Manager Repository File:
https://username:password@archive.cloudera.com/p/cm7/7.7.1/redhat8/yum/cloudera-manager.repo
Cloudera Runtime 7.1.8 location:
https://[username]:[password]@archive.cloudera.com/p/cdh7/7.1.8/parcels
Где имя пользователяипарольиспользовать заменяется указанными выше учетными данными. Например:
mkdir -p /var/www/html/cm7/7.7.1/redhat8/yum/RPMS/x86_64/
mkdir -p /var/www/html/cdh7/7.1.8.0/parcels/
mkdir -p  /var/www/html/cm7/7.7.1/repo-as-tarball/
wget -nd -r  -l1 --no-parent https://username:password@archive.cloudera.com/p/cm7/7.7.1/redhat8/yum/RPMS/x86_64/ -P /var/www/html/cm7/7.7.1/redhat8/yum/RPMS/x86_64/
wget https://username:password@archive.cloudera.com/p/cm7/7.7.1/redhat8/yum/RPM-GPG-KEY-cloudera -P /var/www/html/cm7/7.7.1/redhat8/yum
wget https://username:password@archive.cloudera.com/p/cm7/7.7.1/redhat8/yum/cloudera-manager-trial.repo -P /var/www/html/cm7/7.7.1/redhat8/yum
wget https://username:password@archive.cloudera.com/p/cm7/7.7.1/redhat8/yum/cloudera-manager.repo -P /var/www/html/cm7/7.7.1/redhat8/yum
wget https://username:password@archive.cloudera.com/p/cm7/7.7.1/allkeys.asc -P /var/www/html/cm7/7.7.1




wget https://username:password@archive.cloudera.com/p/cdh7/7.1.8.0/parcels/CDH-7.1.8-1.cdh7.1.8.p0.30990532-el8.parcel.sha1  -P /var/www/html/cdh7/7.1.8.0/parcels/
wget https://username:password@archive.cloudera.com/p/cdh7/7.1.8.0/parcels/CDH-7.1.8-1.cdh7.1.8.p0.30990532-el8.parcel.sha256  -P /var/www/html/cdh7/7.1.8.0/parcels/
wget https://username:password@archive.cloudera.com/p/cdh7/7.1.8.0/parcels/CDH-7.1.8-1.cdh7.1.8.p0.30990532-el8.parcel  -P /var/www/html/cdh7/7.1.8.0/parcels/
wget https://username:password@archive.cloudera.com/p/cdh7/7.1.8.0/parcels/manifest.json  -P /var/www/html/cdh7/7.1.8.0/parcels/

Установка Cloudera Manager

Настроить локальный источник репозитория

скачать носитель, когда Уведомление выберете сами нуждатьсяиз Версии соответствующие из Операционная система Версия,скачать Ссылка на ссылку Подготовка глава СМИ. Поместите носитель загрузки в соответствующий каталог приезжатьHTTPDiz.

Создать источник репо

Воля Для установки Cloudera Manager требуется сумка со скоростью вращения 5 об/мин и один документ asc, доставленный на место.,Поместите в ту же директорию,Выполните команду createrepo, чтобы сгенерировать метаданные rpm.

[root@ccycloud-1 yum]# createrepo .
Directory walk started
Directory walk done - 5 packages
Temporary output repo path: ./.repodata/
Preparing sqlite DBs
Pool started (with 5 workers)
Pool finished
[root@ccycloud-1 yum]# ls
RPM-GPG-KEY-cloudera  RPMS  cloudera-manager-trial.repo  cloudera-manager.repo  repodata
[root@ccycloud-1 yum]#

Создайте репозиторий в /var/www/html/cm7/7.7.1/redhat8/yum/.

Настроить веб-сервер

Переместите указанный выше каталог cdh7/cm7 в каталог /var/www/html (загрузите его непосредственно в соответствующий каталог), чтобы пользователи могли получить доступ к этим пакетам rpm через HTTP.

Убедитесь, что браузер имеет нормальный доступ

5. Создайте источник репозитория Cloudera Manager.

[cloudera-manager]
name=Cloudera Manager 7.7.1
baseurl=http://ccycloud-1.grocery.root.hwx.site/cm7/7.7.1/redhat8/yum/
gpgkey=http://ccycloud-1.grocery.root.hwx.site/cm7/7.7.1/redhat8/yum/RPM-GPG-KEY-cloudera
gpgcheck=1
enabled=1
autorefresh=0
type=rpm-md

Поместите соответствующий файл репо в каталог /etc/yum.repos.d/.

cp cloudera-manager.repo /etc/yum.repos.d/

Проверьте источник yum. Если проверка сообщает об ошибке, проверьте файл конфигурации и сетевые настройки yum.

yum repolist
Failed to set locale, defaulting to C.UTF-8
Failed loading plugin "product-id": No module named 'subscription_manager'
Failed loading plugin "upload-profile": No module named 'subscription_manager'
repo id                                           repo name
appstream-internal                                Red Hat Universal Base Image 8 (RPMs) - AppStream Internal
baseos-internal                                   Red Hat Universal Base Image 8 (RPMs) - BaseOS Internal
cloudera-manager                                  Cloudera Manager 7.7.1
codeready-builder-for-rhel-8-x86_64-rpms-internal Red Hat Universal Base Image 8 (RPMs) - Codeready-Builder
epel-internal                                     Epel Packages for Enterprise Linux 8 - x86_64
mariadb                                           MariaDB
supplymentry-internal                             Red Hat Universal Base Image 8 (RPMs) - Supplementary Internal
[root@ccycloud-1 parcels]#

Установите сервер Cloudera Manager

проходитьyumУстановите сервер Cloudera Manager

использоватьпрограммное обеспечение Сумка Воля Установка Cloudera ManagerВ Клаудере Manager на хосте Сервера.

На хосте сервера Cloudera Manager введите следующую команду, чтобы установить пакет Cloudera Manager:

sudo yum -y install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

Установить Python3.8

Некоторые службы CDP 7.1.8 и более поздних версий, например Hue, используют Python 3.8. После установки Cloudera Manager необходимо установить Python 3.8 на всех хостах, на которых работают затронутые службы, прежде чем добавлять службы в кластер.

Если вы хотите использовать Hue, на компьютере, где обслуживается Hue, должен быть установлен Python 3.8.

Установка Python 3.8 После установки Cloudera Manager и перед добавлением сервисов в кластер необходимо установить Python 3.8 на все хосты. Справочник по шагам установки: установите Python 3.8 на RHEL 8.

Установить зависимые пакеты

Установите в свою систему необходимые инструменты разработчика, такие как gcc и make.

Перед установкой Python 3.8 установите следующие пакеты:

yum install gcc openssl-devel bzip2-devel libffi-devel zlib-devel -y

Развертывание Python3.8

1. Подключитесь к хост-системе через SSH как пользователь root.
2. Загрузите Python 3.8 и разархивируйте пакет, выполнив следующую команду:

cd /opt
curl -O https://www.python.org/ftp/python/3.8.12/Python-3.8.12.tgz
tar -zxvf Python-3.8.12.tgz

1. Измените каталог для распаковки Python 3.8 Сумкаиз Расположение：

cd /opt/Python-3.8.12

1. Установите Python 3.8 следующим образом:

./configure --enable-shared --prefix=[***CUSTOM-INSTALL-PATH***]

примечания

По умолчанию Python можно установить в любое из следующих мест:

• • /usr/bin
  • /usr/local/python38/bin
  • /usr/local/bin
  • /opt/rh/rh-python38/root/usr/bin

Если вы хотите установить Python 3.8 в любое другое место, вам необходимо указать путь с помощью опции --prefix.

Опция --enabled-shared используется для создания общих библиотек вместо статических библиотек. Здесь я использую путь по умолчанию.

1. Постройте следующим образом Python 3.8：
   • Запустите команду make, чтобы скомпилировать файл:

make

• • Запустите команду к, чтобы поместить скомпилированный файл в папку по умолчанию, или используйте Опция --prefix указывает пользовательское местоположение:

make install

• • Поделюсь скомпилированным файлом библиотеки (libpython3.8.so) копироватьприезжать В каталоге /lib64/:

cp --no-clobber ./libpython3.8.so* /lib64/

Опция --no-clobber используется для предотвращения перезаписи файлов.

• • Изменять libpython3.8.so Права доступа к файлам следующие:

chmod 755 /lib64/libpython3.8.so*

1. Если вы видите ошибки при загрузке общих библиотек, например ошибку: libpython3.8.so.1.0: невозможно открыть файл общего объекта: нет такого файла или каталога, выполните следующую команду:

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib/

Настройки оттенка

(для Хюэ) Если у вас есть Python 3.8 При установке в произвольном месте необходимо Manager > Clusters > Hue > Configuration > Hue Service Environment Advanced Configuration Snippet (Safety Valve), добавьте пользовательский путь через двоеточие. (:) разделены следующим образом:

Key: PATH
Value: [***CUSTOM-INSTALL-PATH***]:/usr/local/sbin:/usr/local/bin:/usr/sbin:

Установите клиент MySQL на узле Hue

CDP использовать Python 3.8 версия. к MariaDB используется как Hue из серверной базы данных вы должны основываться на своей операционной система вообще Hue Установить на хост MySQL Клиент и другие необходимые зависимости.

1. Подключитесь к хосту Hue через SSH в качестве пользователя root.
2. Необходимые зависимости для установки следующие:

yum install -y mysql-devel xmlsec1  xmlsec1-openssl

1. Воля Установить Сумкаизпутьдобавить вприезжать PATH переменные среды следующим образом:

export PATH=/usr/local/bin:$PATH

Я добавил его в файл /etc/profile.

1. Установите клиент MySQL следующим образом:

pip3.8 install mysqlclient

Инициализировать базу данных

Инициализировать базу данныхизграмматиканравиться Вниз：

sudo /opt/cloudera/cm/schema/scm_prepare_database.sh [options] <databaseType> <databaseName> <databaseUser> <password>

параметр:

Параметры:

Команда, выполняемая здесь, выглядит следующим образом:

[root@ccycloud-1 yum]# sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm cloudera
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64
Verifying that we can write to /etc/cloudera-scm-server
Creating SCM configuration file in /etc/cloudera-scm-server
Executing:  /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/java/postgresql-connector-java.jar:/opt/cloudera/cm/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
log4j:ERROR Could not find value for key log4j.appender.A
log4j:ERROR Could not instantiate appender named "A".
[2022-04-28 16:38:33,489] INFO     0[main] - com.cloudera.enterprise.dbutil.DbCommandExecutor.testDbConnection(DbCommandExecutor.java) - Successfully connected to database.
All done, your SCM database is configured correctly!
[root@ccycloud-1 yum]#

Запустите сервер Cloudera Manager.

1. Запустите сервер Cloudera Manager.Служить

systemctl start cloudera-scm-server
systemctl status cloudera-scm-server

1. Подождите несколько минут, к Запустите сервер Cloudera Менеджер. Чтобы наблюдать за процессом запуска, пожалуйста, В Клаудере Manager Запустите следующую команду на хосте Сервера:

sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

Консоль управления Cloudera Manager готова, когда вы увидите эту запись в журнале:

INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.

1. Проверьте, прослушивается ли порт

[root@ccycloud-1 yum]#  netstat -lnpt | grep 7180
tcp        0      0 0.0.0.0:7180            0.0.0.0:*               LISTEN      3476/java
[root@ccycloud-1 yum]#

1. Доступ к CM через http://cccloud-1.grocery.root.hwx.site:7180/cmf/login

1. Useadmin/пользователь admin входит в систему.

Если у вас уже есть лицензия, выберите «Загрузить лицензию», в противном случае выберите «Попробовать», а затем «Продолжить».

Как настроить шифрование TLS для CM с помощью Auto-TLS

использовать Auto-TLS упрощено до Cloudera Manager Конфигурация TLS процесс шифрования.

Auto-TLS Функции могут быть автоматически включены на уровне кластера. TLS Все шаги, необходимые для шифрования. использовать Auto-TLS позволяет вам Cloudera Центр сертификации, который управляет всеми сертификатами в кластере. (CA) Или использовать существующую компанию КА. В большинстве случаев все необходимые шаги можно пройти Cloudera Manager UI Легко включается.

Когда Cloudera Manager используется в качестве центра выдачи сертификатов:

• Создайте корневой центр сертификации или запрос на подпись сертификата. (CSR) для создания существующего центра сертификации компании (CA) знакизсерединамежду Сертификаторган, выдавший документ
• Создайте CSR для хоста и автоматически подпишите его.

Всегда выполняйте следующие действия

• дляHost создает хранилище ключей и хранилище доверенных сертификатов.
• Разверните сертификат, хранилище ключей и хранилище доверенных сертификатов во всех кластерах.
• Затем,Путем извлечения информации о хранилище ключей и доверенном хранилище из каталога экземпляра роли.,Все кластерные службы автоматически предоставляют возможность TLS.
• для Cloudera Manager Предоставление сервера и прокси возможность TLS。
• После этой первоначальной настройки для любых новых служб, хостов (или) других параметров вычислительного кластера TLS будет автоматически включен по умолчанию.
• Предоставляет платформу автоматизации для ротации сертификатов.

Давайте рассмотрим следующий пример в CDP Private Cloud Base 7.1 кластерначальствопроверятьсмотреть Эти Параметры:

• вариант использования 1：использовать Cloudera Manager Создать внутренний CA исоответствующийиз Сертификат
• вариант использования 2：использоватьсуществующий корень CA давать возможность Auto-TLS
• вариант использования 3：использоватьсуществующий Сертификатдавать возможность Auto-TLS

использовать любой из этих вариантов вы можете при даче. возможность Auto-TLS из Cloudera Manager Повторное использование существующего кластера при создании нового кластера. TLS настраивать。когда Вы запускаете мастерак При создании нового кластера,Вы должны увидеть следующее сообщение. Сейчас,когда вы развертываете кластер,Все службы будут автоматически подключены и зашифрованы.

Auto-TLS функция значительно уменьшает кластеризацию TLS Управленческие расходы,Это обеспечивает большую безопасность и снижает эксплуатационные накладные расходы.,И поможет вам сосредоточиться на своих клиентах и ​​их рабочих нагрузках.

Самозаверяющие сертификаты не следует использовать для производственных развертываний. Самозаверяющий сертификат будет создан в процессе генерации ключа и сохранен в указанном хранилище ключей.,И подписанный сертификат должен быть заменен. использовать Самоподписанный сертификат требует создания и распространения сертификата,А для сертификата устанавливается явное доверие.

Однако для TLS можно легко получить самозаверяющие сертификаты. / Сертификат конфигурации SSL и может подойти для непроизводственных или тестовых установок. Дополнительную информацию см. в разделе Шифрование передаваемых данных для Cloudera. Руководство менеджера КонфигурацияTLS-шифрование.

В следующей команде для вашей системы заменяется путь,имя файла,Псевдоним и другие примеры.

1. Создайте каталог сертификатов:

mkdir -p /opt/cloudera/security/x509/ /opt/cloudera/security/jks/

в Клаудеру Менеджер предоставляет доступ к каталогу из,Установите правильные разрешения,Затем Изменятьдля Оглавление：

sudo chown -R cloudera-scm:cloudera-scm /opt/cloudera/security/jks
sudo umask 0700
cd /opt/cloudera/security/jks

1. Сгенерировать пару ключей и самозаверяющий сертификат,И используйте то же, что и хранилище ключей. istorepass из пароля сохраняет все в хранилище ключей.,Как показано ниже. Использовать, когда бывший хост изFQDN для CN,Не допускайте создания исключения java.io.IOException: неправильное исключение имени хоста HTTPS. Замените подразделение записями, подходящими для вашей среды.,O,L,Значение STиCиз:

keytool -genkeypair -alias cmhost -keyalg RSA -keysize 2048 -dname "cn=cm01.example.com, ou=Department,
o=Company, l=City, st=State, c=US" -keypass password -keystore example.jks -storepass password


[root@ccycloud-1 jks]# keytool -genkeypair -alias cmhost -keyalg RSA -keysize 2048 -dname "cn=ccycloud-1.grocery.root.hwx.site, ou=ipausers, o=Cloudera, l=Shanghai, st=Shanghai, c=CN" -keypass cloudera -keystore example.jks -storepass cloudera


Warning:
The JKS keystore uses a proprietary format. It is recommended to migrate to PKCS12 which is an industry standard format using "keytool -importkeystore -srckeystore example.jks -destk

1. Измените хранилище доверенных сертификатов Java (cacerts) по умолчанию копироватьприезжать на альтернативное системное хранилище доверенных сертификатов (jssecacerts):

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
source /etc/profile
sudo cp $JAVA_HOME/jre/lib/security/cacerts $JAVA_HOME/jre/lib/security/jssecacerts

1. Экспортируйте сертификат из хранилища ключей (example.jks).

keytool -export -alias cmhost -keystore example.jks -rfc -file selfsigned.cer


[root@ccycloud-1 jks]# keytool -export -alias cmhost -keystore example.jks -rfc -file selfsigned.cer
Enter keystore password:
Certificate stored in file <selfsigned.cer>


Warning:
The JKS keystore uses a proprietary format. It is recommended to migrate to PKCS12 which is an industry standard format using "keytool -importkeystore -srckeystore example.jks -destkeystore example.jks -deststoretype pkcs12".
[root@ccycloud-1 jks]#

1. Замените самоподписанный сертификат (selfsigned.cer) копироватьприжать/opt/cloudera/security/x509/ в каталоге.

cp selfsigned.cer /opt/cloudera/security/x509/cmhost.pem

[root@ccycloud-1 jks]# for i in {2..6}; do ssh ccycloud-$i.grocery.root.hwx.site 'mkdir -p /opt/cloudera/security/jks'  ;done
[root@ccycloud-1 jks]# for i in {2..6}; do scp /opt/cloudera/security/jks/selfsigned.cer ccycloud-$i.grocery.root.hwx.site:/opt/cloudera/security/jks/selfsigned.cer ;done
cmhost.pem                                                                       100% 1349     3.1MB/s   00:00
cmhost.pem                                                                       100% 1349     1.5MB/s   00:00
cmhost.pem                                                                       100% 1349     3.1MB/s   00:00
cmhost.pem                                                                       100% 1349     2.0MB/s   00:00
cmhost.pem                                                                       100% 1349     1.9MB/s   00:00
[root@ccycloud-1 jks]#

1. Импортируйте открытый ключ в хранилище доверенных сертификатов альтернативной системы (jssecacerts), чтобы любой процесс, запускающий Java на этом компьютере, доверял этому ключу. Хранилище доверенных сертификатов Java с паролем по умолчанию для изменения. Не создавайте пароль для хранилища ключей на шаге 2.

$ keytool -import -alias cmhost -file /opt/cloudera/security/jks/selfsigned.cer
-keystore $JAVA_HOME/jre/lib/security/jssecacerts -storepass changeit


[root@ccycloud-1 jks]# keytool -import -alias cmhost -file /opt/cloudera/security/jks/selfsigned.cer
Enter keystore password:
Re-enter new password:
Owner: CN=ccycloud-1.grocery.root.hwx.site, OU=ipausers, O=Cloudera, L=Shanghai, ST=Shanghai, C=CN
Issuer: CN=ccycloud-1.grocery.root.hwx.site, OU=ipausers, O=Cloudera, L=Shanghai, ST=Shanghai, C=CN
Serial number: 5b9a917f
Valid from: Thu Apr 28 17:31:02 CST 2022 until: Wed Jul 27 17:31:02 CST 2022
Certificate fingerprints:
MD5:  61:C0:0F:9F:07:B5:FD:08:FA:8A:41:E7:C0:9F:5E:8F
SHA1: 15:C4:AF:62:88:4A:34:31:A3:60:8A:F1:13:FD:B2:6C:00:A2:D4:7F
SHA256: DC:54:FF:79:C3:88:11:D9:8D:BE:FD:EA:B9:EF:72:47:2E:10:5C:85:30:34:CC:18:DD:05:09:32:2C:AE:A6:71
Signature algorithm name: SHA256withRSA
Subject Public Key Algorithm: 2048-bit RSA key
Version: 3


Extensions:


#1: ObjectId: 2.5.29.14 Criticality=false
SubjectKeyIdentifier [
KeyIdentifier [
0000: A6 2A 18 0B C5 E2 85 28   BB 89 EF 80 1A BD 6D 6B  .*.....(......mk
0010: 38 6C 2E 32                                        8l.2
]
]


Trust this certificate? [no]:  yes
Certificate was added to keystore
[root@ccycloud-1 jks]#

важный

Повторите этот процесс на каждом хосте кластера.

1. Переименуйте хранилище ключей:

mv /opt/cloudera/security/jks/example.jks /opt/cloudera/security/jks/cmhost-keystore.jks

1. Вы также можете удалить сертификат, поскольку на шаге 5 у него есть соответствующий путь.

rm /opt/cloudera/security/jks/selfsigned.cer

1. Настройка самозаверяющего сертификата завершена.

Установка базового кластера CDP PvC

Установка базового кластера CDP Мастер ПВХ

1. admin/admin войти в CM

На данный момент есть два варианта,Один из них — загрузить лицензию на корпоративную подписку.,Один — использовать пробную версию на 60 дней.,проверятьприезжать Ожидатьназад Невозможно получить доступCloudera Менеджер из консоли управления.

Здесь мы сначала выбираем 60-дневную пробную версию. Появится пробное соглашение, как показано на рисунке ниже:

Выберите Да и перейдите к следующему шагу.

1. Нажмите here to setup Enable AutoTLS,Откройте страницу конфигурации AutoTLS. Местоположение сертификата, созданного ранее, из полного пути сертификата,Заполните другую информацию в соответствии с реальной ситуацией в вашем кластере.

1. Конфигурация, соответствующая информации,Затем Нажмите Следующий шаг：

1. Следуйте подсказкам и перейдите в Cloudera. Сервер-менеджер, выполните systemctl restart Cloudera-scm-manager, перезапустите службу. Затем проверьте журнал и подождите, пока не появится сообщение «Начато». Jetty сервер, через браузер Посетите КМ。

1. Можетксмотретьприезжать,Порт подключения CMiz изменен с 7180 на приезжать7183.,Нажмите «Дополнительно».,Посетите КМ

1. Нажмите «Продолжить» и выберите тип кластера.

для нового Установить,Единственным вариантом является обычная кластеризация (также называемая базовой кластеризацией). Установить После завершения базового кластера,Вы можете добавить вычислительный кластер.

Выберите базовый кластер частного облака:

Можетксмотретьприезжатьужедавать возможность ПонятноAuto-TLS,Но нет КонфигурацияKDC,Некоторые службы CDP должны развернуть KDC. Пока игнорируйте это предупреждение,Следуйте инструкциям по настройкеKDC.

1. Нажмите, чтобы продолжить,Введите базовое имя кластера,Также доступно киспользовать по умолчанию из «Кластер 1»:

1. Введите IP-адрес или имя хоста, нажмите «Поиск», чтобы найти хост, и нажмите «Продолжить».

1. Нажмите «Продолжить»

1. “CDH and other software”серединавыбирать“Parcel Repositories & Network Настройки», нажмите « Больше возможностей",Нажмите «-», чтобы удалить все остальные адреса.,Введите http://grocery-1.vpc.cloudera.com/cdh7.,Нажмите «Сохранить Изменить».

Нажмите «Сохранить». & Verify Конфигурация, проверка пройдена, нажимаем Закрыть

1. Нажмите «Продолжить»,Перейти к следующему шагу Установитьjdk. Выберите Установить. a Cloudera-provided version of OpenJDK, нажмите Продолжить

Здесь мы выбираем использовать систему, поставляемую с OpenJDK.

1. Нажмите «Продолжить»,Перейти к следующему шагу Конфигурация пароля учетной записи Ssh,Убедитесь, что пароль root одинаков на всех компьютерах.,Затемвходитьrootизпароль Прямо сейчас Может。

1. Нажмите «Продолжить»,Перейти к следующему шагу,Установить Клаудера Менеджер связан с каждым узлом

После установки агента он автоматически перейдет к следующему шагу, чтобы начать установку посылки.

1. Нажмите «Продолжить»,Перейти к следующему шагу Установитьcdhприезжать各个节点

1. 自动Перейти к следующему шагу Проверка хостаипроверка сети,Убедитесь, что все проверки пройдены.

нуждаться Вручную нажмите, чтобы выполнить проверку производительности сети и хоста.

Если есть ошибки или желтые предупреждения,Просмотр «Показать результаты инспектора»,и решить их один за другим,Затем «перезапустите» проверку,Все проверки прошли,Иначе никак. Нажмите, чтобы продолжить Следующий шаг。

Нажмите «Готово», чтобы войти в мастер установки службы.

Мастер установки настройки кластера

1. выбиратьнуждаться Установитьиз Служить

Все компоненты системы вы можете увидеть в индивидуальном сервисе и выбрать под свои нужды.

выбиратьнуждаться Установитьиз Служить,Выбирайте по нуждаемости,Что бы ты ни хотел здесьвыбиратьData Март, вы также можете настроить услуги

1. Нажмите «Продолжить»,Войдите в кластер Назначение ролей,Две машины служат узлами управления.,Остальные три машины используются как DataNode.

Уведомление:Cloudera Management Сервиссерединаиз Действия Монитор практически больше не используется, и услугу устанавливать не нужно. Телеметрия Publisher — это служба дистанционного зондирования, используемая для рабочей нагрузки. Связь XM, если нет плана использования рабочей нагрузки ХМ, вам не нужно устанавливать сервис. ZooKeeper устанавливается как минимум с 3 узлами, требуется нечетное количество узлов.

1. Нажмите «Продолжить»,Перейти к следующему шагу,Проверить подключение к базе данных

Нажмите «Продолжить» только после успешного завершения всех тестов.

1. 4. Тест прошел успешно,Нажмите Продолжить. Установите параметры, связанные с рейнджером. Пароль здесь установлен как дляP@ssw0rd,Каждый использует свой собственный пароль

1. Нажмите «Продолжить»,Введите настройки параметров,Здесь используйте параметры по умолчанию,Измените каталог в соответствии с реальной ситуацией.

1. Нажмите «Продолжить», введите каждый запуск службы.

1. Установка прошла успешно, нажмите, чтобы продолжить

1. Нажмите, чтобы продолжить,Входить Установить Подвести итоговая страница

1. После успешной установки войдите в интерфейс управления домом.

Система автоматически вернется в состояние без ошибок.

Проверка версии компонента

1. проходитьHosts->All Хозяева Ввести все Страница «Хосты», а затем выполните проверку. All Hosts：

1. После завершения выполнения нажмите «Показать результаты инспектора», чтобы просмотреть результаты.

1. Результаты проверки следующие:

1. Информация о версии продукта следующая:

Вы можете просмотреть версию CDP7.1.8Сумка, содержащую информацию о компонентах.

Настройка вычислительного кластера

1. Нажмите на продуктовый кластер из имени кластера, чтобы перейти на страницу кластера:

1. Нажмите «Создать» рядом с «Контексты данных».

1. Имя SDX данных, затем выберите контекст данных обслуживания SDX из службы.,Затем Нажмитесоздавать：

1. После создания вы можете увидеть контексты данных в базовом кластере, как показано на рисунке ниже:

1. Нажмите на существующий изSDX, нажмите здесь dataContext, чтобы создать вычислительный кластер.

1. Нажмите «Создать вычислительный кластер», войдите в вычислительный кластер на странице развертывания:

1. Указанная страница хоста, имя домена данных или поиск IP-адреса:

1. Настройте репозиторий так же, как и в предыдущем разделе. Установить базовые настройки кластера.

1. Установите JDK так же, как ранее развернутый JDK.

1. Предоставьте учетные данные для доступа к операционной системе.

1. Установить агент

1. Установить посылки

1. Для проверки кластера вы можете выбрать между новым вычислительным кластером, новым вычислительным кластером или базовым кластером.

1. Варианты обслуживания

В соответствии с методом сипользовать выберите соответствующую услугу или индивидуальную услугу.

1. Назначение ролей

1. Если речь идет о базе данных о прибытии,Следующий шаг — настройка базы данных. Если база данных не задействована,Тогда пропустите обзор напрямую. Здесь используйте значение по умолчанию

1. Команда запуска

1. Подведите окончательные результаты развертывания.

1. Отображение результатов

Предупреждение HDFS вызвано кодом стирания. Просто установите соответствующие параметры.

Решение проблем

Обработка раннего предупреждения HDFS

После завершения установки кластера,Если узлы данных Установитьиз относительно малы,HDFS будет иметь предупреждение о коде стирания. По умолчанию HDFS включает настройки стирающего кодирования.

Просто отключите код стирания и тест проверки кода стирания.

Ошибка NTP-сервера ntp_adjtime(): ошибка «Операция не разрешена»

После запуска службы NTP запускается служба NTPD, и служба NTPD сообщает об ошибке.

Решение:

vi /usr/lib/systemd/system/ntpd.services

Удалите все части после ExecStart=/usr/sbin/ntpd.

Сохранить и перезагрузить

systemctl daemon-reload

Запустите и просмотрите службу ntp

systemctl start ntpd
systemctl status ntpd

Синхронизация часов NTP не позволяет корректировать время

[root@ccycloud-1 ~]# ntpdate time.windows.com
28 Apr 15:27:41 ntpdate[1962]: Can't adjust the time of day: Operation not permitted
[root@ccycloud-1 ~]#

Примечание. На эксклюзивных физических машинах этой проблемы нет.,Вывод должен заключаться в том, что VPS имеет ограничения и заполняемость. Время не может быть изменено.,Теоретически физический хост синхронизирован.,Просто установите часовой пояс.

Ошибка пульса

Симптомы:

When trying to install CDH via Cloudera Manager, you may sometimes encounter "heartbeat" errors similar to the following:
Installation failed. Failed to receive heartbeat from agent.
Ensure that the host's hostname is configured properly.
Ensure that port 7182 is accessible on the Cloudera Manager server (check firewall rules).
Ensure that ports 9000 and 9001 are free on the host being added.
Check agent logs in /var/log/cloudera-scm-agent/ on the host being added (some of the logs can be found in the installation details).

Доступно для Cloudera Manager (все версии)

причина:

Ошибка этого типа может быть вызвана рядом факторов, но все они сводятся к возможности корректного взаимодействия с сервером Cloudera Manager на клиентском узле по сети.

Основная причина этой ошибки:

1. Ваш клиентский компьютер не имеет правильного IP-адреса.
2. Брандмауэры и/или iptables могут блокировать сетевой трафик.
3. Ошибка конфигурации DNS

Действия по устранению неполадок

IP Address misconfiguration:
 
Use "ifconfig -a" to see a listing of your network interfaces, your main network interface is probably something like "eth0".  Assure that it has a real IP address, not the loopback address (127.0.0.1) assigned to it.  Run the "hostname -f" command to find out what hostname your local machine is using for itself, then run "nslookup <hostname>" against that hostname (or "dig <hostname>" for more options) to see what IP address it is resolving to. If DNS does not return an IP address for your host, then the configuration will be strictly controlled by /etc/hosts.  Look in that file to see what IP address you are assigning to your host.
 
2. Firewalls or iptables:  either disable them or assure they are allowing the correct ports to pass through.  Follow you company policies to decide which path if best for you.
 
$ sudo chkconfig iptables --list
iptables 0:off 1:off 2:off 3:off 4:off 5:off 6:off
 
$ sudo ufw disable
 
3. If "nslookup <hostname>" (where <hostname> is the name of your Cloudera Manager server) does not return the correct IP address, then you have a misconfigured DNS, contact your network admin.
 
When it's all said and done, all machines in your cluster need to be able to resolve each other's hostnames and IP addresses as well as connect to each other on the specific network ports mentioned in the error message.  Assure that /etc/hosts or DNS are configured properly so that your hosts can resolve each other and that each local machine is binding it's hadoop services to a real network IP instead of the loopback address. 
 
If all that is correct and you still cannot connect, check to make sure firewalls or other services are not blocking the traffic.

Невозможно нормально установить агент

Причина: Потому что я начал использовать httpsпод наблюдением.,Следовательно, агент не может осуществлять зашифрованную связь с мастером. Фактически агент уже готов. Наконец, удалите CM и переустановите его.,Нетдавать возможностьhttps。

Команда удаления прикреплена ниже:

service cloudera-scm-agent stop
service supervisord stop
systemctl stop cloudera-scm-server
yum -y remove cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
rm -rf /opt/cloudera/* /var/lib/cloudera*   /var/log/cloudera* /etc/cloudera*

Часть базы данных: удалить базу данных scm

Error, CM server guid updated, expected 25cf17b3-391a-4368-848a-07118d6f11fb, received b3d4a47a-1476-4ea4-b236-24426b1b8540
rm /var /lib/cloudera-scm-agent/cm_guid  -f 
systemctl restart cloudera-scm-agent

Ошибка при установке DAS

Установить данные Engineeringчас,Соответствует базе знаний DASиз, если это не PostgreSQL9.6.,Будет сообщено о следующей ошибке:

Решение: Не выбирать DAS в пользовательском сервисе.,Создайте базу знаний DAS на сервере PostgreSQL9.6.,Затем Снова УстановитьDASСлужить。

Ошибка при инициализации solr в ZooKeeper

При запуске службы в Команде запускаем,Сообщается об ошибке при инициализации ZooKeeper изsolr,Ошибку можно исправить повторным выполнением.

При установке Parcel появляется сообщение о плохом состоянии хоста.

Cloudera При установке Parcel появляется сообщение о плохом состоянии хоста.

Решение

Удалите файл iscm_guid в каталоге агента и перезапустите службу агента неисправного узла для восстановления.

[root@esgyn001 ~]# cd /var/lib/cloudera-scm-agent/
cm_guid response.avro uuid
[root@esgyn001 cloudera-scm-agent]# rm -rf cm_guid
[root@esgyn001 cloudera-scm-agent]# service cloudera-scm-agent restart
Stopping cloudera-scm-agent: [ OK ]
Starting cloudera-scm-agent:

Ошибка при обновлении ядра

существоватьиспользоватьyum -y update Ошибка при обновлении ядра системы:

Обновления ядра системы можно пропустить напрямую.

Ошибка базы данных конфигурации Hue

Hue сообщает об ошибке при подключении к базе данных конфигурации.,Но информация, заполненная в интерфейсе, верна.,По сути, Python по умолчанию в серверной системе Hue не имеет версии 3.8.,Установите соответствующие переменные среды,Перезапустите службу агента и повторите попытку.,Также проверьте логи сервера.

Подвести итог

1. С точки зрения метода установки CDP PvC Между Base7 и CDH6 не так много изменений, что также облегчает пользователям CDH6 более быстрый переход на CDP. PvC Base7 и адаптация к CDP PvC Base7из Установитьииспользовать。
2. В интерфейсе мастера установки произошли некоторые изменения.,Теперь вы можете сразу увидеть, сколько шагов нужно сделать, чтобы добраться до дома.,И что делает каждый шаг.
3. Установить Предварительное условие не изменяется.,Сумка включает брандмауэр,Селинукс выключен,ntpсинхронизация и т. д.。МожеткссылкаFaysonДоизстатья《CDHУстановить Подготовка》
4. Cloudera Менеджер поставляется с JDK и предоставляет его непосредственно с OpenJDK1.8, а не с Oracle. JDK, то же, что CDP PVC BASE также больше не поддерживает JDK1.7.
5. Основной интерфейс не сильно меняется после входа в «Поселение».,Главное, что логотип Cloudera из почернел,Он соответствует общему стилю домашней страницы Cloudera.
6. Когда Конфигурация Cloudera Manager подключается к базе данных проживания, в сценарии происходят изменения. Раньше это было /usr/share/cmf/schema/scm_prepare_database.sh, теперь это /opt/cloudera/cm/schema/scm_prepare_database.sh
7. Cloudera Служба менеджера статуса в Redhat7 через systemctl status cloudera-scm-serverпроверятьсмотретьотображаетсяправильный,И «до» неверно,МожеткссылкаFaysonДоизстатья《Серверный сервис Cloudera Manager отображает анализ исключений в статусе RedHat7》
8. УведомлениеCMиз Установитьудалять ПонятноскачатьrpmСумкакснаружи,Также скачайте файл allkeys.asc,В противном случае Установитьагент сообщит о следующей ошибке:

1. Для оффлайн УстановитьCDH6.0,Возникла проблема со сбоем проверки хеша при раздаче Parcel.,Это потому что для исправлена ​​ошибка в CM6,Пусть он больше не игнорирует «Content-Encoding» из информации заголовка, отправленной http-сервером.,Но у нас есть сервис Установитьizhttpd в Redhat.,когда это происходит при передаче файлов посылок,По умолчанию это будет неправильноизнастраивать“Content-Encoding”。затемCM Сервер неправильно распознает, что файл дляparcel сжат httpd, и попытается его распаковать. Это приведет к неудаче. Решение — обратиться к главе 2.8, установить файл httpdizconf, AddType. application/x-gzip .gz .tgz .parcel,Затем перезапустите службу httpd и службу CM. Эта проблема уже существовала в бета-версии,Пожалуйста, будьте конкретныссылка《Анализ исключений посылки при установке CDH6.0_beta1 на Redhat7.4》
2. При создании метабазы,Не создавайте повторно базу данных метаданных, связанную с NavigatorиSentry.,Но нуждаться создает службу Ranger, связанную с базой данных метаданных.
3. При первом запуске службы Ranger при создании таблицы x_portal_user будет сообщено о следующей ошибке:

com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes
SQLException : SQL state: 42000 com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes ErrorCode: 1071
2019-11-24 01:12:06,672  [E] ranger_core_db_mysql.sql file import failed!

Это связано с тем, что при создании индекса для,Длина символов превышает 255,Поскольку самый длинный символ utf-8 может быть только для255,Если оно слишком длинное, будет сообщено об ошибке.,Пожалуйста, следуйте приведенной ниже конфигурации для MySQL:

SET GLOBAL innodb_file_per_table = ON,
           innodb_file_format = Barracuda,
           innodb_large_prefix = ON;