set hive.archive.enabled=true;
set hive.archive.har.parentdir.settable=true;
set har.partfile.size=1099511627776;

#Архивируем определенный раздел таблицы
alter table test_rownumber2 archive partition(dt='20230324');

#Отменить
alter table test_rownumber2 unarchive partition(dt='20230324');

#Для несекционированных таблиц
alter table A concatenate;

#Для секционированных таблиц
alter table B partition(dt='2021-05-07',hr='12') concatenate;

#1. Создайте временную таблицу (при создании временной таблицы структура исходной таблицы должна быть согласованной),
create table test.test_table_hive_merge like test.test_table_hive;

#Если таблица хранится в cos или ofs, вам может потребоваться изменить путь хранения после создания таблицы. По умолчанию используется путь hdfs.
alter table test_table_hive_merge set location 'cosn://hadoop-test-cos-1251458/warehouse/test.db/test_table_hive_merge';


#2. Установите параметры сеанса, связанные с объединенными файлами.
set hive.exec.dynamic.partition=true; 
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions=3000;
set hive.exec.max.dynamic.partitions.pernode=5000;
set hive.merge.mapfiles=true ;
set hive.merge.mapredfiles=true ;	
set hive.merge.tezfiles=true ;
set hive.merge.sparkfiles=true ;
set hive.merge.smallfiles.avgsize=256000000;
set hive.merge.size.per.task=512000000;


#3. Объедините файлы во временную таблицу и убедитесь, что никакие данные не записаны в исходную таблицу перед выполнением.
#Если существует несколько уровней разделов, поместите имя раздела в раздел
INSERT OVERWRITE TABLE test.test_table_hive_merge  partition(batch_date) SELECT * FROM test.test_table_hive;


#4. Проверьте объем данных исходной таблицы и временной таблицы.
set hive.compute.query.using.stats=false ;
set hive.fetch.task.conversion=none;
SELECT count(*) FROM test.test_table_hive;
SELECT count(*) FROM test.test_table_hive_merge;


#5. Убедившись в согласованности данных таблицы, измените имя исходной таблицы на временную, измените среднюю таблицу на исходное имя таблицы и используйте оператор alter.
alter table test.test_table_hive rename to test.test_table_hive_tmp;
alter table test.test_table_hive_merge rename to test.test_table_hive;


#6 Проверьте количество объединенных разделов и количество мелких файлов.
hdfs dfs -count  cosn://hadoop-test-cos-1251458/warehouse/test.db/test_table_hive
hdfs dfs -du -h  cosn://hadoop-test-cos-1251458/warehouse/test.db/test_table_hive/batch_date=20210608
hdfs dfs -du -h  cosn://hadoop-test-cos-1251458/warehouse/test.db/test_table_hive/batch_date=20210608 | wc -l


#7. Понаблюдайте некоторое время, прежде чем удалять временную таблицу.
drop  table test.test_table_hive_tmp ;

#!/bin/bash

if [ ! -n "$1" ] ;then
    echo "you have not input a file! The file content is the table name, default.test "
else
    echo "the file you input is $1"
fi

hive=/usr/local/service/hive/bin/hive
#использоватьbeeline необходимо изменить адрес hs2
#hive=' /usr/local/service/hive/bin/beeline --showDbInPrompt=true -u "jdbc:hive2://10.0.0.30:7001" -n hadoop --outputformat=tsv2 --showHeader=false --silent=true '
#В основном передаваемые параметры
hive_sets=" set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.max.dynamic.partitions=3000; set  hive.exec.max.dynamic.partitions.pernode=5000; set hive.merge.mapfiles=true; set hive.merge.mapredfiles=true; set hive.merge.tezfiles=true; set hive.merge.sparkfiles=true; set hive.merge.smallfiles.avgsize=256000000; set hive.merge.size.per.task=512000000; "
#Файл временного хранения раздела
touch /tmp/partitions_tmp.txt  ;

#Максимальная поддержка глубоких 4-уровневых разделов
funGetPart(){
    pCount=$1 ;
    tName=$2 ;
    taHe=`$3 -n 1 /tmp/partitions_tmp.txt ` ;
    if [ ${pCount} -eq 2 ];then
        partition=$(echo  ${taHe} | awk -F '=|/' '{print $1}')
    elif [ ${pCount} -eq 4 ];then
        partition=$(echo  ${taHe} | awk -F '=|/' '{print $1","$3}')
    elif [ ${pCount} -eq 6 ];then
        partition=$(echo  ${taHe} | awk -F '=|/' '{print $1","$3","$5}')
    elif [ ${pCount} -eq 8 ];then
        partition=$(echo  ${taHe} | awk -F '=|/' '{print $1","$3","$5","$7}')
    else
        echo -e "\033[31m Parsing is not supported  \n \033[0m"
        exit -1 ;
    fi

}

lineTables=$(cat $1)

for dataTab in ${lineTables}
do
    #Определяем, ожидается ли имя таблицы. Имя библиотеки. Имя таблицы.
    dataCount=` echo ${dataTab}| awk -F "." '{print NF}' ` 
    if [ ${dataCount} -ne 2  ];then
       echo -e "\033[31m The file content is incorrect!!! \033[0m"
       echo -e "\033[31m For example: default.test  \n \033[0m"
       exit -1 ;
    fi

    #Определяем, является ли раздел таблицы нормальным
    $hive  -e "SHOW PARTITIONS ${dataTab} ; " > /tmp/partitions_tmp.txt
    if [ ! -s /tmp/partitions_tmp.txt ];then
        echo -e "\033[31m The table => ${dataTab} <= no partitione information \n \033[0m"
        exit -1 ;
    fi
    ##Сначала определите количество извлеченных двухрядных разделов
    tpartCount=`(tail -n 1 /tmp/partitions_tmp.txt | awk -F '=|/' '{print NF}')`
    hpartCount=`(head -n 1 /tmp/partitions_tmp.txt | awk -F '=|/' '{print NF}')`    
    if [ "${tpartCount}" = "" ] || [ "${hpartCount}" = "" ];then
        echo -e "\033[31m The table => ${dataTab} <= no partitione information \n \033[0m"
        exit -1 ;
    fi
    if [ ${tpartCount} -ne ${hpartCount} ];then
        echo -e "\033[31m The table => ${dataTab} <= have different number of partitions \n \033[0m"
        exit -1 ;
    fi
    ## Затем оцените извлеченные 2 строки информации о разделах
    funGetPart ${hpartCount} ${dataTab} head
    hpartValue=${partition}
    funGetPart ${tpartCount} ${dataTab} tail
    tpartValue=${partition}
    if [ "${hpartValue}" != "${tpartValue}" ];then
        echo -e "\033[31m The table => ${dataTab} <= have different value of partitions \n \033[0m"
        exit -1 ;
    fi    


    echo "В настоящее время обрабатывается таблица: ${dataTab} , Раздел: ${tpartValue} "
    echo -e "==> Create table :  ${dataTab}_merge  from: ${dataTab} \n "  
    #Если промежуточная таблица уже существует, выберите, продолжать ли выполнение. По умолчанию выполняется выход из выполнения.
    #${hive} -e "create table if not exists ${dataTab}_merge like ${dataTab} ; "
    ${hive} -e "create table ${dataTab}_merge like ${dataTab} ; "
    if [ $? -ne 0 ];then
       echo -e "\033[31m  ${dataTab}_merge Creat fail \n \033[0m" ;
       exit -1 ;
    fi
    echo -e "==> Overwrite table :  ${dataTab}_merge , partition: ${tpartValue} , from: ${dataTab} \n "  
    ${hive} -e " ${hive_sets} INSERT OVERWRITE TABLE  ${dataTab}_merge partition(${tpartValue}) SELECT * FROM ${dataTab} ; "
    if [ $? -eq 0 ];then
       echo -e "\033[32m  ${dataTab}_merge Overwrite success \n \033[0m" ;
       #Изменяем имя исходной таблицы на временную таблицу и заменяем промежуточную таблицу на имя исходной таблицы
       echo -e "==> Rename  ${dataTab} To ${dataTab}_tmp \n " 
       ${hive} -e " alter table ${dataTab} rename to ${dataTab}_tmp ; "
       echo -e "==> Rename  ${dataTab}_merge To ${dataTab} \n " 
       ${hive} -e " alter table  ${dataTab}_merge rename to ${dataTab} ; "
       echo -e "==> Имена таблиц, которые необходимо удалить позже: ${dataTab}_tmp ; drop table ${dataTab}_tmp \n ; " 
    else
       echo -e "\033[31m => ${dataTab} <= merged fail \n \033[0m" 
       exit -1 ;
    fi

sleep 1
done
wait

hadoop fs -getmerge  /user/hive/warehouse/xxxx.db/xxxx/pdate=20220815/*  /home/hadoop/pdate/20220815

hadoop fs -rm  /user/hive/warehouse/xxxx.db/xxxx/pdate=20220815/*

hadoop fs -mkdir -p /user/hive/warehouse/xxxx.db/xxxx/pdate=20220815

hadoop fs -put  /home/hadoop/pdate/20220815  /user/hive/warehouse/xxxx.db/xxxx/pdate=20220815/*

#!/bin/bash

if [ ! -n "$1" ] ;then
    echo "you have not input a file!"
else
    echo "the file you input is $1"
fi

lineurl=$(cat $1)

hadoop=/usr/local/service/hadoop/bin/hadoop

localbak=/home/hadoop/pdate

for line in $lineurl
do

    echo «Текущая обработка:  $line "
    file_name=`echo $line | awk -F "=" '{print $NF}'`
    table_name=`echo $line | awk -F "/" '{print $(NF-1)}'`

    mkdir -p ${localbak}/${table_name}
    echo "=> Getmerge  data to ${localbak}/${table_name}/${file_name} "  
    ${hadoop} fs -getmerge  ${line}/*  ${localbak}/${table_name}/${file_name}
    echo "=> Rm ${line} "
    ${hadoop} fs -rm ${line}/*
    ${hadoop} fs -mkdir -p ${line}
    echo "=> Put  ${localbak}/${table_name}/${file_name}  To  ${line}  "  
    ${hadoop} fs -put ${localbak}/${table_name}/${file_name}  ${line}/

    ${hadoop} fs -test -f ${line}/${file_name}
    if [ $? -eq 0 ];then
       echo -e "\033[32m $line merged success \n \033[0m" 
    else
       echo -e "\033[31m $line merged fail \n \033[0m" 
    fi

sleep 1
done
wait