https://www.psvmc.cn/article/2022-11-08-bigdata-kerberos-centos.html
flink on yarn
flink run \
-yD security.kerberos.login.keytab=/root/psvmc.keytab \
-yD security.kerberos.login.principal=psvmc/hadoop@HADOOP.COM \
yxzt-data-tcs-1.0-SNAPSHOT-jar-with-dependencies.jar -job /root/zjhome/task_trans.json
Принцип сертификации
Требуется два файла
krb5.conf
krb5.keytab
,Обычно получается после генерации сервером.вставитьresources
в каталоге
Укажите файл конфигурации krb5: krb5.conf, замените в соответствии с реальной ситуацией.
Файл аутентификации: krb5.keytab, замените в соответствии с реальной ситуацией.
Аутентификация пользователя: куст, измените в соответствии с реальной ситуацией.
Здесь файл конфигурации и файл аутентификации копируются во временный каталог для аутентификации. При необходимости вы можете указать фиксированный каталог для аутентификации.
Метод аутентификацииKerberosAuth.java
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.security.UserGroupInformation;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import java.io.*;
import java.nio.file.Files;
import java.nio.file.Paths;
public class KerberosAuth {
private static final Logger log = LoggerFactory.getLogger(KerberosAuth.class);
// Файл конфигурации Kerberos, полученный от сервиса
private static final String krbConfig = "krb5.conf";
// файл аутентификации Kerberos
private static final String krbKeytab = "psvmc.keytab";
// пользователь, аутентифицированный Kerberos
private static final String principal = "psvmc/hadoop@HADOOP.COM";
public static void init() {
initkerberos();
}
public static void initkerberos() {
log.info("Kerberos Проверка входа");
try {
// Временный каталог Java, окно — C:\Users\login user\AppData\Local\Temp\, Linux — /tmp, вам нужно добавить косую черту в зависимости от ситуации.
String javaTempDir = System.getProperty("java.io.tmpdir");
String tempDir = Paths.get(javaTempDir, "krb_" + System.currentTimeMillis()).toString();
String configPath = getTempPath(tempDir, krbConfig);
String keytabPath = getTempPath(tempDir, krbKeytab);
log.error(configPath);
log.error(keytabPath);
System.setProperty("java.security.krb5.conf", configPath);//Установите путь к файлу конфигурации krb. Обратите внимание, что он должен быть указан перед Configuration, иначе он не вступит в силу.
Configuration conf = new Configuration();
conf.set("hadoop.security.authentication", "Kerberos");//Устанавливаем режим аутентификации Kerberos
UserGroupInformation.setConfiguration(conf);
UserGroupInformation.loginUserFromKeytab(principal, keytabPath);//Устанавливаем пути к файлу аутентификации пользователя и krb
log.error("Kerberos Проверка прошла успешно");
} catch (Exception e) {
log.error("Kerberos Проверка не удалась", e);
}
}
/**
* скопировать файл и получить путь к файлу на основе имени файла (решить проблему, связанную с тем, что пакет jar не поддерживает получение файлов из ресурса)
*
* @param tempPath временный каталог
* @param fileName Имя файла
* @return Временный путь к файлу
*/
@SuppressWarnings("ResultOfMethodCallIgnored")
public static String getTempPath(String tempPath, String fileName) {
InputStream in = KerberosAuth.class.getResourceAsStream("/" + fileName);
String pathAll = tempPath + File.separator + fileName;
File file = new File(pathAll);
File tempPathFile = new File(tempPath);
if (!tempPathFile.exists()) {
tempPathFile.mkdirs();
}
try {
copyInputStreamToFile(in, pathAll);
} catch (Exception e) {
log.error("getTempPath", e);
}
return file.getPath();
}
private static void copyInputStreamToFile(InputStream is, String strFileFullPath) throws IOException {
long size = 0;
BufferedInputStream in = new BufferedInputStream(is);
BufferedOutputStream out = new BufferedOutputStream(Files.newOutputStream(Paths.get(strFileFullPath)));
int len = -1;
byte[] b = new byte[1024];
while ((len = in.read(b)) != -1) {
out.write(b, 0, len);
size += len;
}
in.close();
out.close();
//Изменяем права доступа к файлу
changeFolderPermission(strFileFullPath);
}
private static void changeFolderPermission(String dirPath) {
File dirFile = new File(dirPath);
dirFile.setReadable(true, false);
dirFile.setExecutable(true, false);
dirFile.setWritable(true, false);
}
public static void main(String[] args) {
KerberosAuth.init();
}
}
После настройки проверки подлинности Kerberos в Hive JDBC-соединение должно выполнить аутентификацию Kerberos.
После аутентификации в URL-адрес JDBC также необходимо добавить конфигурации, связанные с аутентификацией.
следующее
jdbc:hive2://192.168.7.101:10000/zdb;principal=psvmc/hadoop@HADOOP.COM
в
principal:
Инструменты
import com.gientech.schedule.config.KerberosConnect;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import java.sql.*;
import java.util.*;
public class HiveUtils {
private static Logger logger = LoggerFactory.getLogger(HiveUtils.class.getName());
private static String driverName = "org.apache.hive.jdbc.HiveDriver";
private static String url = "jdbc:hive2://192.168.7.101:10000/zdb;principal=psvmc/hadoop@HADOOP.COM";//Порт по умолчанию — 10000
/**
* GetConnection
* @return conn
* @throws SQLException
* @throws ClassNotFoundException
*/
public static Connection getConnection() throws SQLException {
Connection conn = null;
try {
KerberosAuth.init();
conn = DriverManager.getConnection(url);
} catch (SQLException e) {
logger.info("Не удалось подключиться к базе данных!");
throw e;
}
return conn;
}
// Создать базу данных
public static void createDatabase(String databaseName) throws Exception {
String sql = "create database "+databaseName;
logger.info("Running: " + sql);
Connection conn = getConnection();
Statement stmt = conn.createStatement();
stmt.execute(sql);
closeConnection(conn);
closeStatement(stmt);
}
// Запросить все базы данных
public static void showDatabases() throws Exception {
String sql = "show databases";
logger.info("Running: " + sql);
Connection conn = getConnection();
Statement stmt = conn.createStatement();
ResultSet rs = stmt.executeQuery(sql);
while (rs.next()) {
logger.info(rs.getString(1));
}
closeConnection(rs,stmt,conn);
}
/**
* Создать таблицу (разделитель «,»)
* Такие как создать table tableName(name string,sex string) row format delimited fields terminated by ','
* @param sql
* @throws Exception
*/
public static void createTable(String sql) throws Exception {
logger.info("Running: " + sql);
Connection conn = getConnection();
Statement stmt = conn.createStatement();
stmt.execute(sql);
closeConnection(conn);
closeStatement(stmt);
}
// Запросить все таблицы
public static void showTables() throws Exception {
String sql = "show tables";
logger.info("Running: " + sql);
getConnection();
Connection conn = getConnection();
Statement stmt = conn.createStatement();
ResultSet rs = stmt.executeQuery(sql);
while (rs.next()) {
logger.info(rs.getString(1));
}
closeConnection(rs,stmt,conn);
}
// Посмотреть структуру таблицы
public static void descTable(String tableName) throws Exception {
String sql = "desc formatted "+tableName;
logger.info("Running: " + sql);
Connection conn = getConnection();
Statement stmt = conn.createStatement();
ResultSet rs = stmt.executeQuery(sql);
while (rs.next()) {
logger.info(rs.getString(1) + "\t" + rs.getString(2));
}
closeConnection(rs,stmt,conn);
}
// Загрузить данные (убедитесь, что у вас есть права доступа к файлу)
public static void loadData(String filePath,String tableName) throws Exception {
String sql = "load data inpath '" + filePath + "' into table tableName";
logger.info("Running: " + sql);
Connection conn = getConnection();
Statement stmt = conn.createStatement();
stmt.execute(sql);
closeConnection(conn);
closeStatement(stmt);
}
// Данные запроса
public static void selectData(String sql) throws Exception {
logger.info("Running: " + sql);
Connection conn = getConnection();
Statement stmt = conn.createStatement();
ResultSet rs = stmt.executeQuery(sql);
rs = stmt.executeQuery(sql);
while (rs.next()) {
logger.info(rs.getString(1));
}
closeConnection(rs,stmt,conn);
}
// Удалить базу данных
public static void dropDatabase(String databaseName) throws Exception {
String sql = "drop database if exists "+databaseName;
logger.info("Running: " + sql);
Connection conn = getConnection();
Statement stmt = conn.createStatement();
stmt.execute(sql);
closeConnection(conn);
closeStatement(stmt);
}
// Удалить базу данныхповерхность
public static void deopTable(String tableName) throws Exception {
String sql = "drop table if exists "+tableName;
logger.info("Running: " + sql);
Connection conn = getConnection();
Statement stmt = conn.createStatement();
stmt.execute(sql);
closeConnection(conn);
closeStatement(stmt);
}
public static Map<String,Object> queryMapBySql(String sql){
//Определяем соединение базы данных
Connection conn = null;
//Определяем объект ReadedStatement
PreparedStatement ps = null;
//Определяем набор результатов запроса
ResultSet rs = null;
try {
conn = getConnection();
//Определяем оператор sql, который будет выполнен
ps = conn.prepareStatement(sql);
rs = ps.executeQuery();
return getMapFromResultSet(rs);
} catch (Exception e) {
logger.info("queryDataListBySql"+e.getMessage());
}finally {
closeConnection(rs,ps,conn);
}
return Collections.emptyMap();
}
/**
* Закрыть набор результатов, оператор, соединение
*
* @param rs
* @param stmt
* @param con
*/
public static void closeConnection(ResultSet rs, Statement stmt, Connection con) {
closeResultSet(rs);
closeStatement(stmt);
closeConnection(con);
}
/**
* Закрыть набор результатов
*
* @param rs
*/
public static void closeResultSet(ResultSet rs) {
if (rs != null) {
try {
rs.close();
} catch (SQLException e) {
logger.info(e.getMessage());
}
}
}
/**
* CloseStatement
*
* @param stmt
*/
public static void closeStatement(Statement stmt) {
if (stmt != null) {
try {
stmt.close();
} catch (Exception e) {
logger.info(e.getMessage());
}
}
}
/**
* Закрыть соединение
*
* @param con
*/
public static void closeConnection(Connection con) {
if (con != null) {
try {
con.close();
} catch (Exception e) {
logger.info(e.getMessage());
}
}
}
/**
* Преобразование результата набора результатов в sonObject
* @param rs ResultSet
* @return List
* @throws SQLException аномальный
*/
public static Map<String,Object> getMapFromResultSet(ResultSet rs)
throws SQLException {
Map<String,Object> hm = new HashMap();
ResultSetMetaData rsmd = rs.getMetaData();
int count = rsmd.getColumnCount();// Получить количество столбцов
while(rs.next()) {
for (int i = 1; i <= count; i++) {
String key = rsmd.getColumnLabel(i);
Object value = rs.getObject(i);
hm.put(key, value);
}
}
return hm;
}
public static List<Map<String,Object>> queryListBySql(String sql){
//Определяем соединение базы данных
Connection conn = null;
//Определяем объект ReadedStatement
PreparedStatement ps = null;
//Определяем набор результатов запроса
ResultSet rs = null;
try {
conn = getConnection();
//Определяем оператор sql, который будет выполнен
ps = conn.prepareStatement(sql);
rs = ps.executeQuery();
return getListFromResultSet(rs);
} catch (Exception e) {
logger.info("queryDataListBySql"+e.getMessage());
}finally {
closeConnection(rs,ps,conn);
}
return Collections.emptyList();
}
/**
* Преобразование результатов набора результатов в список
* @param rs ResultSet
* @return List
* @throws SQLException аномальный
*/
private static List<Map<String,Object>> getListFromResultSet(ResultSet rs)
throws SQLException {
List<Map<String,Object>> results= new ArrayList<>();//Данные результата
ResultSetMetaData metaData = rs.getMetaData(); // Получить результаты столбца
List<String> colNameList= new ArrayList<>();
int cols_len = metaData.getColumnCount(); // Получить общее количество столбцов
for (int i = 0; i < cols_len; i++) {
colNameList.add(metaData.getColumnName(i+1));
}
while (rs.next()) {
Map<String, Object> map= new HashMap<>();
for(int i=0;i<cols_len;i++){
String key=colNameList.get(i);
Object value=rs.getString(colNameList.get(i));
map.put(key, value);
}
results.add(map);
}
return results;
}
public static void main(String[] args) throws Exception {
String sql = "SELECT * FROM `t1` LIMIT 1";
List<Map<String, Object>> maps = queryListBySql(sql);
logger.info(maps.toString());
}
}