#tar -xzf jdk-8u161-linux-x64.tar.gz -C /usr/local/
# cd /usr/local/
#mv jdk1.8.0_161 java
#gedit ~/.bashrc

export JAVA_HOME=/usr/local/java
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

# source ~/.bashrc
# java -version
ava version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

# sudo apt-get install openssh-server

# ssh localhost

#exit                                    # Выйти прямо сейчас ssh localhost
# cd ~/.ssh/                             # Если такого каталога нет, выполните ssh еще раз. localhost
# ssh-keygen -t rsa                      # Появится подсказка, просто нажмите Enter.
# cat ./id_rsa.pub >> ./authorized_keys  # Добавить авторизацию

#tar -xzf hadoop-3.3.6.tar.gz -C /usr/local/
#cd /usr/local/
#mv hadoop-3.3.6 hadoop
#chown -R hadoop ./hadoop       #Предыдущий Hadoop — это имя пользователя, просто измените его на свое собственное имя пользователя
#gedit ~/.bashrc

export HADOOP_HOME=/usr/local/hadoop    
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

# source ~/.bashrc
# hadoop version
Hadoop 3.3.6
Source code repository https://github.com/apache/hadoop.git -r 1be78238728da9266a4f88195058f08fd012bf9c
Compiled by ubuntu on 2023-06-18T08:22Z
Compiled on platform linux-x86_64
Compiled with protoc 3.7.1
From source with checksum 5652179ad55f76cb287d9c633bb53bbd
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.3.6.jar

#cd /usr/local/hadoop
# mkdir ./input
# cp ./etc/hadoop/*.xml ./input   # Файл конфигурации как входной файл
#./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'    
# cat ./output/*                 # Посмотреть результаты бега

1    dfsadn

#gedit /usr/local/hadoop/etc/hadoo/core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

#gedit /usr/local/hadoop/etc/hadoo/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

# ./bin/hdfs namenode -format           #Реализуем форматирование namenode

# /etc/profile

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

#gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/java
export HADOOP_HOME=/usr/local/hadoop

#sbin/start-dfs.sh                                #Открываем namenode и datanode

#jps
37153 DataNode                       #DataNode
43796 Jps
37380 SecondaryNameNode              #Второе имяNode
37013 NameNode                       #NameNode

#cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
#gedit etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

#gedit etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

#./sbin/start-yarn.sh
#./sbin/mr-jobhistory-daemon.sh start historyserver #Просмотр исторических задач

#sudo dpkg -l | grep maria

#sudo dpkg -l | grep mysql

#sudo apt autoremove mysql-*

#sudo apt autoremove mariadb-*

#sudo apt update
#sudo apt install mariadb-server

#sudo systemctl status mariadb

#sudo mysql_secure_installation

1）Enter current password for root (enter for none):
(По умолчанию MariaDB не имеет пароля, просто введите)
2）Switch to unix_socket authentication [Y/n] n
(При переключении аутентификации безопасности unix_socket введенное здесь n означает отсутствие переключения)
3）Change the root password? [Y/n] y
(Если нужно изменить пароль учетной записи root, введите y, чтобы изменить пароль root.
Уведомление:
- Лучше всего использовать сложный пароль для пароля root, иначе вам может потребоваться добавлять sudo каждый раз при подключении к MariaDB.
- При установке пароля курсор не будет прыгать при вводе пароля.
- В этой статье установлен пароль 12345)
4）Remove anonymous users? [Y/n] y
(Если удалять анонимных пользователей, введите здесь y, то есть удалить анонимных пользователей
По умолчанию MariaDB устанавливается с анонимным пользователем, что позволяет любому использовать MariaDB без создания для него учетной записи, которую необходимо удалить в производственной среде)
5）Disallow root login remotely? [Y/n] y    
(Разрешены ли удаленные учетные записи Авторизоваться root, в противном случае на локальном хосте разрешены только учетные записи Авторизоваться root. Введенное здесь значение y означает, что удаленные учетные записи Авторизоваться root не разрешены)
6）Remove test database and access to it? [Y/n] y
(Удалять ли тестбазу данные, введенные здесь, предназначены для удаления тестовой базы данных
По умолчанию в MariaDB есть тестбаза. данные, позволяет любому пользователю получить)
7）Reload privilege tables now? [Y/n] y
(Нужно ли перезагрузить таблицу разрешений,Они вошли сюда,то есть перезагрузить сразу)

#tar -xzf apache-hive-2.3.9-bin.tar.gz -C /usr/local/
#cd /usr/local/
#mv apache-hive-2.3.9 hive
#gedit ~/.bashrc

export HIVE_HOME=/usr/local/hive
export PATH=$HIVE_HOME/bin:$PATH

#source ~/.bashrc

#tar -xvf mysql-connector-java-5.1.49.tar.gz
#cp mysql-connector-java-5.1.49/mysql-connector-java-5.1.49.jar /usr/local/hive/lib

#gedit conf/hive-site.xml

<?xml version="1.0"
encoding="UTF-8" standalone="no"?>
<?xml-stylesheet
type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- MySQLбаза данныхадрес -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<!-- MySQLбаза данныхводить машину -->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- MySQLбаза данныхсчет -->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<!-- MySQLбаза данныхпароль -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive_pwd</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<property>
<name>datanucleus.schema.autoCreateAll</name>
<value>true</value>
</property>
</configuration>

#mysql -uroot -p123456
mysql>grant all privileges on hive.* to 'hive'@'%' identified by 'hive_pwd';

#schematool -dbType mysql -initSchema

# hive
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/hive/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-reload4j-1.7.36.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Logging initialized using configuration in jar:file:/usr/local/hive/lib/hive-common-2.3.9.jar!/hive-log4j2.properties Async: true
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
hive>