Предисловие

Произошла ошибка при подаче заявки на сеанс Flink в Hadoop.

Содержимое ошибки

File /user/.flink/application_1723473994699_0002b/flink-table-api-java-uber-1.17.0.jar could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and 0 node(s) are excluded in this operation.

Я увидел, что узел данных не найден, поэтому проверил процесс и обнаружил, что узел данных действительно не найден. При использовании start-dfs.sh узел данных не запускался.

Поиск неисправностей

Вы можете проверить причину проблемы, выполнив следующие действия.

1. исследовать Hadoop Файл журнала: DataNode Файлы журналов обычно расположены по адресу HADOOP_LOG_DIR/hadoop-datanode-<username>.log（
2. Проверьте файл конфигурации Hadoop：
   • убеждаться hdfs-site.xml и core-site.xml Файл конфигурации правильный. особенно с DataNode Связанные из Конфигурация, как dfs.datanode.data.dir（DataNode Сохраните каталог данных).
   • убеждаться DataNode порт (по умолчанию 50010) не занят другими процессами.
3. Проверьте каталог хранения DataNode.：
   • DataNode каталог хранения (состоящий из dfs.datanode.data.dir Конфигурация) должен существовать и быть доступен для записи. Если каталог не существует или не имеет разрешения на запись, DataNode не запустится.
   • если раньше DataNode Процесс завершается ненормально, и некоторые файлы блокировки или временные файлы могут остаться. Эти файлы иногда блокируют DataNode Перезапуск. Попробуйте очистить эти файлы (но делайте это осторожно, чтобы не потерять их).
4. Проверьте статус NameNode：
   • DataNode Необходимость и NameNode связь работает корректно. если NameNode DataNode не работает или не отвечает такжене запустится.
   • использовать jps Представление команд NameNode Запускается ли процесс.
5. Проверьте конфигурацию сети：
   • убеждаться DataNode Возможность общения через сеть с NameNode коммуникация. учитывать межсетевой экран и конфигурацию сети, убеждаться в отсутствии блокировки DataNode и NameNode общение между.
6. Перезапустите HDFS.：
   • Если ни один из вышеперечисленных шагов не помог решить проблему, попробуйте остановить и перезапустить весь процесс. HDFS кластер（использовать stop-dfs.sh и start-dfs.sh）。
7. Просмотр отчета о работоспособности вашего кластера Hadoop：
   • использовать Hadoop из Web Пользовательский интерфейс (обычно через NameNode из HTTP Доступ к порту, по умолчанию 50070) для проверки отчета о состоянии здоровья и информации о состоянии Проверятькластериз.
8. Просмотр системного журнала：
   • обратите внимание на файлы системного журнала (например, /var/log/syslog/var/log/messages или подобное), чтобы найти возможные Hadoop Ошибки или предупреждения, связанные с процессом.
9. Проверьте, совпадают ли идентификаторы кластера namenode и datanode.

Моя проблема с идентификатором кластера несовместима

Я проверил, совпадают ли кластерные идентификаторы namenode и datanode, и обнаружил, что они действительно различаются.

namenode

clusterID=CID-c31bfe11-654c-4b08-a555-22de9305b6dd

datanode

clusterID=CID-b4ac40db-530a-4b2d-8278-0bfe8b91de28

ПочемуclusterIDбудет другим？

clusterIDНесоответствия обычно возникают в следующих ситуациях.：

1. Переформатируйте NameNode：еслиNameNodeбыл переформатирован（Например,использоватьhdfs namenode -formatЗаказ）,И DataNode не сбрасывается и не форматируется соответствующим образом.,ТакNameNodeполучит новыйизclusterID,иDataNodeвсе еще храню староеизclusterID。
2. Восстановить NameNode из резервной копии：еслиNameNodeвосстанавливается из резервной копиииз,И резервная копия такая же, как и текущая работающаяизDataNodeмножества не принадлежат одному и тому жекластер（Прямо сейчасclusterIDнет совпадений）,Тактакже会ПоявлятьсяclusterIDнепоследовательныйиз Состояние。
3. Путаница в многокластерных средах：в несколькихHDFSкластерсосуществоватьизсреда,Если файл конфигурации или сценарий запуска указаны неправильно. Конфигурация или использование,Может привести к тому, что DataNode подключится к ошибке изNameNode.,оти ПоявлятьсяclusterIDнепоследовательный。

clusterIDнепоследовательныйиз后果

当NameNodeиDataNodeизclusterIDнепоследовательныйчас,DataNode не сможет успешно взаимодействовать с NameNode или зарегистрироваться как часть кластеризации. Это имеет следующие последствия:

• Данные не видны：потому чтоDataNodeне могу общаться сNameNodeкоммуникация,Хранилище на DataNode не будет видно пользователям HDFS.
• Кластер нестабильен：DataNodeМожно продолжать пробовать сNameNodeкоммуникация,нопотому чтоclusterIDнет совпаденийинеудача,Это может привести к нестабильному состоянию или частым перезапускам DataNode.
• Риск потери данных：еслиDataNodeНе знаюиз Состояние Продолжить писать нижеданные（Несмотря на это Состояниеменее распространенный,Потому что обычно DataNode взаимодействует с NameNode из-за совместимости),тогда эти данные могут рассинхронизироваться с NameNode и данными.,Это приводит к повышенному риску потери данных и из.

Как решитьclusterIDнепоследовательныйизвопрос

1. Переформатируйте NameNodeи сброситьDataNode：есливозможныйизразговаривать,Самый простой способ — остановить кластер HDFS.,Переформатируйте NameNode, а также удалить или сбросить все DataNode и каталог. хранение. Затем ПерезапускHDFSкластер. Обратите внимание, что это приведет к удалению всех данных в изкластере.
2. Восстановление из резервной копии：если ДоступныйизNameNodeрезервное копирование,и он работает с текущимизDataNodeмножества принадлежат одному и тому жекластер（Прямо сейчасclusterIDсоответствовать）,NameNode можно восстановить из этой резервной копии.
3. Ручная синхронизацияclusterID：в некоторых Состояние Вниз,Если вы уверены, что DataNode принадлежит текущему кластеру,но仅потому чтокакая-то причинаclusterIDнет совпадений,Можно попробовать изменить вручнуюDataNodeизclusterIDсNameNodeизclusterIDВзаимносоответствовать。Рани,Этот метод требует осторожности,И может включать прямую модификацию внутренней структуры HDFS.
4. Проверьте конфигурацию и журналы：осторожностьисследоватьHDFSиз Конфигурациядокументибревнодокумент,найти возможные причиныclusterIDнепоследовательныйиз Конфигурация Ошибка или эксплуатационная ошибка。

Суммируя,clusterIDнепоследовательныйдаHDFSкластеродин серьезныйизвопрос,Требуется тщательная диагностика и лечение. в большинстве случаев,Лучше всего избегать переформатирования NameNode.,Если только вам действительно не понадобится перезагружать весь кластер.

решение

большинствоизрешение还дабольшинство手动修改一ВнизDataNodeизclusterID,Измените его, чтобы он соответствовал NameNode.

Сначала найдите файл VERSION,NameNode и DataNode имеют свои собственные файлы VERSON.,хранится внутриclusterID,Но версия Hadoop отличается,Пути хранения этих двух файлов также различны.

Рекомендуется просто использовать функцию поиска напрямую, это удобно и быстро.

Сначала войдите в каталог Hadoop и используйте команду find для поиска ВЕРСИИ в каталоге Hadoop и его подкаталогах.

find -name VERSION

Я нашел здесь три

./data/dfs/data/current/VERSION
./data/dfs/data/current/BP-1238583945-192.168.10.102-1709627934929/current/VERSION
./data/dfs/name/current/VERSION

Первый, который вы видите, находится в каталоге данных, который представляет собой файл VERSION узла данных.

Второй должен быть файлом сопоставления, поэтому пока игнорируйте его.

Третий можно увидеть в каталоге имен, это файл ВЕРСИИ узла имени.

Первое закрытие hdfs

stop-dfs.sh

ЗатемисследоватьnamenodeиdatanodeДвое из нихVERSIONдокументсерединаизСогласован ли идентификатор кластера?,Если оно противоречиво, то,Вручную измените идентификатор кластера в DataNode.,Просто измените его так, чтобы он был таким же, как namenode.

Затем запустите hdfs

start-dfs.sh

DataNode запустился нормально