Общая информация о версии среды разработки следующая:

1、Linux：CentOS 6.8

2. Версия Java: jdk-8u172-linux-x64.tar.gz.

3、HadoopВерсия：hadoop-3.1.0.tar.gz

4. версия Scala: scala-2.12.6.tgz

5. Версия Python: Python-3.6.5.tgz.

6. искровая версия: spark-2.3.0-bin-hadoop2.7.tgz

7. Версия Zookeeper: Zookeeper-3.4.10.tar.gz.

8. версия улья:

9. версия Кафки:

10、серверкластер：192.168.0.110(master),192.168.0.111(slave1),192.168.0.112(slave2)

1. Установка Java

1. Загрузите установочный пакет jdk в каталог /usr/local/lib и распакуйте его.

2. Скопируйте разархивированную папку на два других компьютера.

3、СантайсерверИзменить отдельноbigdataПеременные пользовательской среды

4. Сделайте конфигурацию эффективной и проверьте

2. Установка Hadoop

1. Создайте каталог bigdata в домашнем каталоге пользователя bigdata, загрузите установочный пакет Hadoop и распакуйте его.

2. Войдите в каталог файла конфигурации Hadoop и измените конфигурацию Hadoop.

3. Измените core-site.xml и добавьте содержимое в красное поле.

4. Измените hdfs-site.xml и создайте соответствующий каталог.

5. Измените файл Yarn-site.xml.

6. Модифицировать рабочие (старая версия - слейвы)

7. Измените Hadoop-env.sh и добавьте JAVA_HOME.

8. Распространите Hadoop, настроенный на ведущем устройстве, на каждое подчиненное устройство.

9. Просто настройте переменные среды под пользователем bigdata на ведущем устройстве.

10. Сделайте переменные среды эффективными и проверьте

11. При первом запуске hdfs необходимо сначала отформатировать hdfs [hdfs namenode -format], а затем запустить hdfs [start-dfs.sh]

12. Вы можете посетить http://192.168.0.110:9870 [192.168.0.110 — IP-адрес главного устройства, а порт старой версии Hadoop — 50070], чтобы проверить, прошло ли развертывание успешно, если вам это нужно; остановите hdfs, используйте [stop-dfs.sh]

13. Вы также можете ввести имя jps, чтобы проверить, есть ли следующие процессы

14. Начать пряжу [start-yarn.sh]

15. Посетите http://192.168.0.110:8088/cluster, чтобы проверить, нормально ли работает пряжа, и прекратите использование пряжи [stop-yarn.sh]

16. Вы также можете ввести имя jps, чтобы проверить, есть ли следующие процессы

Подводить итоги,hadoopкластерУстановка завершена！

3. Установка скалы

1. Переключитесь на пользователя root, загрузите scala и загрузите его в каталог /usr/local/lib, а затем разархивируйте.

2. Раздайте распакованные файлы на ведомый1 и ведомый2.

 scp -r scala-2.12.6 root@slave1:/usr/local/lib

 scp -r scala-2.12.6 root@slave2:/usr/local/lib

3、соответственносуществовать СантайсерверИзменитьbigdataПеременные пользовательской среды

4. Убедитесь, что переменные среды действительны.

5. Запустите команду scala, чтобы проверить успешность установки, и нажмите ctrl+z для выхода.

4. Установка питона

1、существоватькластербеги дальшеpyspark,Сначала вам необходимо установить пакеты программного обеспечения, связанные с zlibиgcc.

yum -y install gcc*

2. Загрузите установочный пакет Python, загрузите его, а затем разархивируйте.

3. Введите /usr/local/lib/, измените Modules/Setup.dist [старая версия — Setup], найдите красную строку и удалите комментарий.

4. Выполните ./configure

5、make

6、make install

7. Проверьте исходную версию системы Python и переименуйте ее.

8. Измените /usr/bin/yum.

9. Восстановите программное соединение Python.

7. Выполните команду Python, чтобы проверить, правильно ли она установлена.

5. Установка искры

1. Загрузите и загрузите установочный файл Spark в каталог bigdata домашнего каталога пользователя bigdata, а затем разархивируйте его.

2. Настройка подчиненных устройств

3. Настройте spark-env.sh

4. Распределите настроенную искру на ведомое устройство 1 и ведомое устройство 2.

scp -r ~/bigdata/spark-2.3.0-bin-hadoop2.7 bigdata@slave1:~/bigdata

scp -r ~/bigdata/spark-2.3.0-bin-hadoop2.7 bigdata@slave2:~/bigdata

5. Настройте переменные среды на главном устройстве.

source ~/.bash_profile

6. Запустите искру

7. Подтвердите запуск искры [командой jps или посетите http://192.168.0.110:8080].

8. Проверьте искровой код [ctrl+z для выхода]

6. Установка зоокипера

1. Загрузите и загрузите файл Zookeeper, а затем разархивируйте его.

2. Измените файл конфигурации.

3. Создайте каталог для конфигурации файла конфигурации.

4. Распределите настроенный Zookeeper на ведомый1 и ведомый2.

5、соответственносуществовать3башнясервериз~/bigdata/zookeeper/dataДобавить новые файлы в каталогmyidи изменить

Содержимое myid на мастере: 0

Содержимое myid на подчиненном устройстве1: 1

Содержимое myid на подчиненном устройстве2: 2

6、Приходите отдельно3башнясерверНачать узел вzkСлужить

7. Проверьте статус ZooKeeper на каждом сервере.

7. Установка улья

1. Установите MySQL

Установка: yum install -y mysql-server

Старт: запуск службы mysqld

Измените пароль пользователя root: mysqladmin -u пароль root 'root'

Создайте куст базы данных и авторизуйте:

2. Загрузите и загрузите установочный пакет hive, а затем разархивируйте его.

3. Войдите в каталог конфигурации [/home/bigdata/bigdata/apache-hive-2.3.3-bin/conf] и измените файл конфигурации hive-site.xml.

4. Отредактируйте hive-env.sh.

5. Загрузите драйвер jdbc mysql mysql-connector-java-5.1.44-bin.jar и загрузите его в /home/bigdata/bigdata/apache-hive-2.3.3-bin/lib.

6. Настройте переменные среды мастера.

source ~/.bash_profile

7. Создайте каталог, настроенный в hive-site.xml, и авторизуйте его.

8. Укажите тип базы данных куста и инициализируйте его.

9. Проверьте, успешно ли установлена ​​база данных hive mysql [есть ли таблицы в базе данных hive]

10. Перед запуском hive сначала убедитесь, что служба хранилища метаданных запущена: сначала создайте журналы каталога журнала работы куста, а затем запустите HIVE.

проверять:

Запустить УЛЕЙ

8. Установка кафки

1. Загрузите Kafka и загрузите ее, затем распакуйте.

2. Создайте каталог журнала и измените файл конфигурации.

mkdir /home/bigdata/bigdata/kafka-logs-new

3. Распространить Kafka на раб1 и раб2.

4. Измените файлы server.properties на ведомом устройстве 1 и ведомом устройстве 2 соответственно.

slave1：broker.id=1

 slave2：broker.id=2

5. Запустите сервер-брокер на трех серверах соответственно.

nohup bin/kafka-server-start.sh config/server.properties>~/bigdata/kafka_2.12-1.1.0/logs/server.log 2>&1 &

6. Создать тему на мастере

7. Посмотреть тему

8. Запустите продюсер для отправки сообщений.

9. Заставьте потребителя получать сообщения

10. Эффект следующий