本文详解如何判断 hadoop mapreduce wordcount 任务是否正常运行，重点介绍通过 yarn web ui 和命令行日志工具实时监控作业状态的方法，避免误判“卡死”，提升本地开发调试效率。
本文详解如何判断 hadoop mapreduce wordcount 任务是否正常运行，重点介绍通过 yarn web ui 和命令行日志工具实时监控作业状态的方法，避免误判“卡死”，提升本地开发调试效率。
当你在本地 Hadoop 环境（如 Linux Mint + Hadoop 2.7.3）中执行 hadoop jar wordcount.jar WordCount /my_data/book1.txt /my_data/output_wordcount 后，控制台仅输出类似 Running job: job_1676124615395_0004 并长时间停滞——这不意味着程序卡死或失败，而恰恰是 MapReduce 作业已成功提交至 YARN 资源管理器，正在后台调度、分配容器并执行计算。此时需主动查看作业真实运行状态。
✅ 正确验证任务是否运行中的两种权威方式
1. 通过 YARN Web UI 实时追踪（推荐，可视化强）
日志中明确提示了访问地址：
The url to track the job: http://my-computer-05:8088/proxy/application_1676124615395_0004/
请在浏览器中打开该链接（确保 my-computer-05 可被解析，若不可达，请检查 /etc/hosts 或直接使用 localhost:8088 进入 YARN ResourceManager 主页 → 找到对应 application ID → 点击进入 ApplicationMaster 页面）。你将看到：
- 当前作业状态（ACCEPTED → RUNNING → SUCCEEDED/FAILED）
- Mapper/Reducer 的进度条与已完成数量
- 实时日志（Logs）标签页：点击可查看 stdout、stderr 和 syslog，其中 syslog 包含完整的 Map/Reduce 阶段日志，是诊断问题的核心依据。
⚠️ 注意：若页面无法加载，请确认 YARN 已启动（jps 应显示 ResourceManager 和 NodeManager），且防火墙未拦截 8088 端口（sudo ufw status 检查）。
2. 使用 yarn logs 命令行获取结构化日志
在另一终端中，执行以下命令（替换为你的实际 application ID）：
yarn logs -applicationId application_1676124615395_0004
该命令会拉取该作业所有 Container 的完整日志流。重点关注：
- Container launch command 是否成功执行
- MapAttempt 和 ReduceAttempt 的 STARTED/FAILED/SUCCEEDED 状态
- 若出现 java.lang.OutOfMemoryError 或 ClassNotFoundException，则说明配置或依赖存在问题
? 补充排查要点（针对你的环境）
-
Java 版本兼容性警告：你看到的 Illegal reflective access 是 Hadoop 2.7.3 与 JDK 9+ 的已知兼容性问题（非致命错误），不影响功能，但建议在 hadoop-env.sh 中添加：
export HADOOP_OPTS="--add-opens=java.base/sun.nio.ch=ALL-UNNAMED --add-opens=java.base/java.lang=ALL-UNNAMED"
-
输出路径必须不存在：Hadoop 不允许覆盖已有输出目录。若 /my_data/output_wordcount 已存在，请先删除：
hdfs dfs -rm -r /my_data/output_wordcount
- Jar 包完整性验证：确认 wordcount.jar 包含所有依赖（尤其是 Hadoop 客户端类）。可用 jar -tf wordcount.jar | grep "Mapper" 快速验证主类是否在内。
✅ 成功完成后的验证步骤
当作业状态变为 SUCCEEDED 后，执行：
hdfs dfs -ls /my_data/output_wordcount # 应看到 _SUCCESS 文件和 part-r-00000 hdfs dfs -cat /my_data/output_wordcount/part-r-00000 | head -20
你将看到形如 hadoop 127 的词频结果，证明整个流程已闭环。
? 总结：MapReduce 作业的“静默期”是正常行为。不要依赖控制台输出是否停止来判断成败，而应以 YARN UI 或 yarn logs 输出的实际状态为准。 掌握这一方法，可大幅缩短本地 Hadoop 调试周期，精准定位资源、权限、路径或代码层面的问题。
