Всем привет, мы снова встретились, я ваш друг Цюаньчжаньцзюнь.

[Убедитесь, что установка и настройка кластера серверов завершены! 】

Предисловие

Пожалуйста, адаптируйте текст соответственно в соответствии с ситуацией читателя.

Мои три сервера CentOS7: Хост: мастер (192.168.56.110) Подчиненный: подчиненный0 (192.168.56.111) Подчиненный: подчиненный1 (192.168.56.112)

Установка и настройка каждого узла одинакова. В реальной работе, как правило, после завершения установки и настройки на главном узле можно затем скопировать каталог установки на другие узлы. Нет необходимости настраивать все узлы, что неэффективно. .

Примечание. Все операции выполняются с привилегиями пользователя root.

Загрузите установочный пакет Hadoop

Официальный сайт Hadoop: http://hadoop.apache.org/. Адрес загрузки версии Hadoop, который я использую здесь: http://archive.apache.org/dist/hadoop/core/hadoop-2.7.5/

Разархивируйте установочный пакет Hadoop (выполняется только на главной версии)

Убедитесь, что сетевая сеть настроена, используйте Xftp и другие подобные инструменты для загрузки и загрузите Hadoop-2.7.5.tar.gz в каталог /opt/hadoop. После завершения загрузки выполните на главном хосте следующий код:

cd /opt/hadoop

После входа в каталог /opt/hadoop выполните команду распаковки:

tar -zxvf hadoop-2.7.5.tar.gz

После нажатия Enter система начнет распаковку, и экран будет продолжать прокручиваться во время процесса распаковки. После успешного выполнения система автоматически создает подкаталог Hadoop-2.7.5 в каталоге Hadoop.

Затем измените имя папки на «hadoop», которое является каталогом установки Hadoop, и выполните команду изменения имени папки:

mv hadoop-2.7.5 hadoop

Примечание. Вы также можете использовать Xftp, чтобы проверить, существует ли соответствующий каталог, чтобы убедиться, что он заполнен правильно.

Входим в каталог установки и проверяем установочные файлы. Если список файлов отображается так, как показано на рисунке, значит сжатие прошло успешно.

Настроить файл env (выполняется только на мастере)

Пожалуйста, сначала прочтите следующие команды (и запомните их, они будут широко использоваться в последующих операциях и не будут повторяться): A. Войдите в состояние редактирования: вставить B. Удалить: удалить C. Выйти из режима редактирования: ctrl+[ D. Войдите в состояние сохранения: Ctrl+] E. Сохранить и выйти:" :wq ” Обязательно сначала введите двоеточие на английском языке F. Выйти без сохранения:" :q! ” То же, что и выше

Примерная последовательность выполнения: A→B→C→D→E

Настроить файл JDK Выполнить команду:

vi /opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh

Найдите строку «export JAVA_HOME», чтобы настроить путь jdk.

Измените: экспорт JAVA_HOME=/usr/local/java/jdk1.8.0_162/

Настройка файлов основных компонентов (выполняется только в мастер-версии)

Файл основного компонента Hadoop — core-site.xml.,Расположен в подкаталоге /opt/hadoop/hadoop/etc/hadoop.,Используйте vi для редактирования файла core-site.xml.,Необходимо изменить следующее Конфигурациякод в файле<configuration>и</configuration>между。

Выполните команду для редактирования файла core-site.xml:

vi /opt/hadoop/hadoop/etc/hadoop/core-site.xml

нужно быть внутри<configuration>и</configuration>между Добавлен код：

<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/hadoop/hadoopdata</value>
</property>

После редактирования просто выйдите и сохраните!

Настройте файловую систему (выполняется только на мастере)

Файловая система Hadoop. Файл конфигурации — hdfs-site.xml.,Расположен в подкаталоге /opt/hadoop/hadoop/etc/hadoop.,Отредактируйте файл с помощью vi,Необходимо следующеекод в файле<configuration>и</configuration>между。

Выполните команду для редактирования файла hdfs-site.xml:

vi /opt/hadoop/hadoop/etc/hadoop/hdfs-site.xml

нужно быть внутри<configuration>и</configuration>между Добавлен код：

<property>
		<name>dfs.replication</name>
		<value>1</value>
</property>

После завершения редактирования выйдите и сохраните!

Настройте файл Yarn-site.xml (выполняется только на мастер-сервере)

Сайт Yarn Файл конфигурации: Yarn-site.xml.,Расположен в подкаталоге /opt/hadoop/hadoop/etc/hadoop.,все еще Отредактируйте файл с помощью vi,Измените следующеекод в файле<configuration>и</configuration>между。

Выполните команду для редактирования файла Yarn-site.xml:

vi /opt/hadoop/hadoop/etc/hadoop/yarn-site.xml

нужно быть внутри<configuration>и</configuration>между Добавлен код：

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<property>
	<name>yarn.resourcemanager.address</name>
	<value>master:18040</value>
</property>
<property>
	<name>yarn.resourcemanager.scheduler.address</name>
	<value>master:18030</value>
</property>
<property>
	<name>yarn.resourcemanager.resource-tracker.address</name>
	<value>master:18025</value>
</property>
<property>
	<name>yarn.resourcemanager.admin.address</name>
	<value>master:18141</value>
</property>
<property>
	<name>yarn.resourcemanager.webapp.address</name>
	<value>master:18088</value>
</property>

Настройте файл вычислительной среды MapReduce (выполняется только на мастер-сервере)

В подкаталоге /opt/hadoop/hadoop/etc/hadoop в системе уже есть файл mapred-site.xml.template. Нам нужно скопировать его и переименовать. Местоположение остается неизменным.

Выполните команды операции копирования и переименования:

cp /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml

Затем используйте vi для редактирования файла mapred-site.xml.,Необходимо изменить следующеекод для заполнения файла<configuration>и</configuration>между。

Выполнить команду:

vi /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml

нужно быть внутри<configuration>и</configuration>между Добавлен код：

<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

После редактирования сохраните и выйдите!

Настройте файл подчиненных устройств ведущего устройства (выполняется только на ведущем устройстве)

Файл подчиненных узлов содержит список подчиненных узлов кластера Hadoop. Этот файл очень важен, поскольку при запуске Hadoop система всегда запускает кластер на основе списка имен подчиненных узлов в текущем файле подчиненных узлов, которых нет в нем. список не будет использоваться как вычислительный узел.

Выполните команду для редактирования файла подчиненных устройств:

vi /opt/hadoop/hadoop/etc/hadoop/slaves

Примечание. Использование vi для редактирования файла подчиненных устройств должно быть отредактировано в соответствии с фактической ситуацией в созданном вами кластере. Например: я установил здесь «slave0» и «slave1» и планирую запустить их все в работу кластера Hadoop.

Поэтому следует добавить следующий код:

slave0
slave1

Примечание. Удалите исходную строку localhost в файле подчиненных устройств!

Копирование Hadoop с главного узла на подчиненный узел (выполняется только на главном узле)

Скопировав Hadoop на мастер-ноду, можно значительно повысить эффективность развертывания системы. Предположим, у нас есть 200 модулей, которые нужно настроить... Не состарится ли автор?

Поскольку у меня здесь есть «slave0» и «slave1», они копируются дважды.

Копировать команду:

scp -r /opt/hadoop root@slave0:/opt
scp -r /opt/hadoop root@slave1:/opt

Запуск кластера Hadoop — настройте переменные среды операционной системы (сделайте это для всех трех узлов)

Вернитесь к команде каталога пользователя:

cd /opt/hadoop

Затем используйте vi для редактирования файла .bash_profile, команда:

vi ~/.bash_profile

Наконец, добавьте следующий код в конец файла:

#HADOOP
export HADOOP_HOME=/opt/hadoop/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

После сохранения и выхода,Выполнить команду:

source ~/.bash_profile

Исходная команда ~/.bash_profile предназначена для того, чтобы приведенная выше конфигурация вступила в силу.

Совет: используйте тот же метод настройки, что и на ведомых устройствах 0 и 1, чтобы настроить все три узла.

Создать каталог данных Hadoop (выполняется только на главном компьютере)

Чтобы создать каталог данных, используйте команду:

mkdir /opt/hadoop/hadoopdata

Данные Hadoop можно просмотреть через Xftp.

Отформатируйте файловую систему (выполняется только на мастере)

Выполните команду форматирования файловой системы:

hadoop namenode -format

Запуск и завершение работы кластера Hadoop (выполняется только на ведущем устройстве)

Сначала введите домашний каталог установки и введите команду:

cd /opt/hadoop/hadoop/sbin

Совет: текущее местоположение файла можно увидеть на верхней панели Xshell.

Затем начните, команда:

start-all.sh

После выполнения команды система спросит «Вы уверены, что хотите продолжить подключение (да/нет)», введите «да», после чего система сможет запуститься. Примечание. Это может быть немного медленно. Никогда не думайте, что карта застряла, а затем принудительно выключите. Это неправильно.

Если вы хотите завершить работу кластера Hadoop, вы можете использовать команду:

stop-all.sh

При следующем запуске Hadoop инициализировать NameNode не потребуется. Достаточно использовать команду start-dfs.sh, а затем использовать start-yarn.sh для запуска Yarn.

Фактически, Hadoop рекомендует отказаться от таких команд, как start-all.sh и stop-all.sh, и использовать вместо них команды start-dfs.sh и start-yarn.sh.

Проверьте, успешно ли запустился кластер Hadoop.

Читатели, вы можете выполнить команду jps в терминале, чтобы проверить, успешно ли запущен Hadoop.

На главном узле выполните:

jps

Если отображаются четыре процесса SecondaryNameNode, ResourceManager, Jps и NameNode, это означает, что главный узел запущен успешно.

Затем Выполните под узлом «slave0» и «slave1» соответственно. команду:

jps

Если три процесса NodeManager, Jps и DataNode отображаются успешно, это означает, что подчиненные узлы (slave0 и подчиненный1) были успешно запущены.

напиши на спине

Если вы считаете, что эта статья вам помогла, пожалуйста, пожертвуйте ее мне. uh5 проект один Star。

Издатель: Full stack программист и руководитель стека, укажите источник для перепечатки: https://javaforall.cn/138506.html Исходная ссылка: https://javaforall.cn