FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source hdfs://master:8020/user/hive/warehouse/app_xgdsj.db/student_consume_trend_group/year=2023/.hive-staging_hive_2023-10-31_20-30-53_009_9218967460329396263-1/-ext-10000 to destination hdfs://master:8020/user/hive/warehouse/app_xgdsj.db/student_consume_trend_group/year=2023

вопрос

unable to move source hdfs

Идеи

1. Отчеты об ошибках Друг сообщил об ошибке в задаче куста. При перемещении данных об ошибке сообщалось следующим образом:

Failded with exception:unable to move source hdfs://…

2. вопрос Устранение неполадок Эта ситуация обычно не имеет ничего общего с задачей.,Это означает, что задача куста успешно выполнена. Поскольку улей по умолчанию,данные задачи искры сначала записываются во временный каталог,После того, как данные каждого узла полностью записаны,,Проверка пропала.,В пути hdfs перемещения к таблице (так называемый ход на самом деле является тяжелой командой),Этот процесс сообщает об ошибке,Объясните, что это как-то связано с hdfs,следить за пряжей,hive,Искра больше не имеет значения.

Проверьте журнал пряжи, который показывает, что журнал выполнен успешно.

Поскольку это как-то связано с hdfs,Это означает, что путь обычно имеет вопросы (например, разрешения,Исключение пути,Потеря узла и др.).

Сначала я посмотрел путь HDFS и обнаружил, что по этому пути есть файлы. Это было необоснованно. Время просмотра файла не соответствовало времени выполнения задачи. Ни одна таблица не создается. Очевидно, что из-за наличия данных по этому пути возникает исключение загрузки таблицы и перемещение завершается неудачно. (Причина в том, что в целях безопасности данных путь hdfs имеет разрешение T. Только владелец таблицы может удалить таблицу. Другие не могут удалить данные. Предполагается, что удаление таблицы является ненормальным и данные не удалил.)

3.решатьплан

решать

hdfs dfs -rm -r /user/hive/warehouse/app_xgdsj.db/student_consume_trend_group/year=2023

Это очень просто, просто очистите данные пути, где находится таблица.

Повтор миссии, вопросрешить