Cloudera CDP 7.1.3 主机异常关机导致元数据丢失,node不能与CM通信

时间:2025-05-08 08:54:30
问题描述

plaintext

ERROR    Could not load post-deployment data from /var/run/cloudera-scm-agent/process/ccdeploy_hadoop-conf_etchadoopconf.cloudera.yarn_-8903374259073700469
IOError: [Errno 2] No such file or directory: '/var/run/cloudera-scm-agent/process/.../__cloudera_metadata__'
原因与解决
  • 原因
    • 异常关机导致临时目录 /var/run/cloudera-scm-agent/process/ 下的元数据文件丢失。
    • parcel 部署不完整或路径错误。
  • 解决
    1. 清理临时目录并重启 Agent(临时文件可安全删除):

      bash

      rm -rf /var/run/cloudera-scm-agent/process/*
      systemctl restart cloudera-scm-agent
      

    2. 检查 parcel 路径:确认 CDH-7.1.3 的 parcel 路径(如 /home/opt/cloudera/parcels/)是否正确,若路径错误,需在 Cloudera Manager 中重新指定 parcel 存储路径并重新部署。
    3. 重新部署相关服务配置:在 Cloudera Manager Web 界面中,找到 YARN 服务,重新部署客户端配置(hadoop-conf),确保元数据文件重新生成。