讲师中心 微信公众号
AI工具推荐 视频效率加速

统信UOS怎么安装和配置Hadoop环境

老明姑娘_8818

老明姑娘_8818

发布时间:2026-07-11 16:14:36

|

1035人浏览过

|

来源于php中文网

原创

在统信UOS中安装Hadoop需解决Java环境缺失、用户权限隔离、SSH无密登录及配置路径适配四大问题:新建hadoop用户并切换登录;手动配置JAVA_HOME指向OpenJDK 17真实路径;启用SSH服务并配置localhost免密登录;下载Hadoop 3.3.6,修改hadoop-env.sh、core-site.xml和hdfs-site.xml;执行hdfs namenode -format后start-dfs.sh启动集群,jps验证进程,hdfs dfs命令验证读写。

统信uos怎么安装和配置hadoop环境

在统信UOS系统中安装并运行Hadoop,需先解决Java环境缺失、用户权限隔离、SSH无密登录及Hadoop配置路径适配四大核心问题,否则hdfs namenode -format会报错“JAVA_HOME not set”,start-dfs.sh将因SSH拒绝连接而静默失败。

创建专用Hadoop用户并授权

统信UOS默认不提供hadoop用户,直接用root或普通用户运行Hadoop存在权限越界与日志混乱风险,必须新建隔离账户。

执行sudo useradd -m -s /bin/bash hadoop创建用户;

运行sudo passwd hadoop设置密码(建议设为hadoop123便于临时验证);

添加sudo权限:sudo usermod -aG sudo hadoop;

【关键前提】必须退出当前终端,重新用hadoop用户登录,后续所有操作均在此用户下进行,否则PATH和HOME路径将不匹配。

安装OpenJDK并配置JAVA_HOME

UOS桌面版应用商店安装的JDK路径特殊,无法被Hadoop脚本自动识别,必须手动提取真实路径并写入用户级环境变量。

方法一(图形化安装后手动配置):

打开“开始菜单 → 应用商店”,搜索“OpenJDK 17”,点击安装;

安装完成后,打开终端,执行dpkg -L openjdk-17-jdk | grep bin/java,输出类似/opt/apps/org.bisheng.openjdk17/files/bin/java;

提取JAVA_HOME路径:去掉末尾/bin/java,得到/opt/apps/org.bisheng.openjdk17/files;

执行nano ~/.bashrc,在文件末尾添加:
export JAVA_HOME=/opt/apps/org.bisheng.openjdk17/files
export PATH=$JAVA_HOME/bin:$PATH;

执行source ~/.bashrc生效,再运行java -version确认输出含“17.0.x”字样。

方法二(APT命令行安装,路径标准):

执行sudo apt update && sudo apt install openjdk-17-jdk;

运行readlink -f $(which java) | sed 's|/bin/java||',获取标准路径如/usr/lib/jvm/java-17-openjdk-amd64;

将该路径填入~/.bashrc中的JAVA_HOME赋值语句,保存后source生效。

配置SSH无密码登录

Hadoop伪分布式模式要求NameNode能免密SSH登录本机localhost,UOS默认未启用sshd服务且未生成密钥对。

第一步:安装并启动SSH服务
sudo apt install openssh-server -y
sudo systemctl enable ssh
sudo systemctl start ssh

第二步:切换至hadoop用户,生成密钥对
su - hadoop
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

第三步:将公钥写入authorized_keys
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

第四步:测试本地免密登录
ssh localhost -o StrictHostKeyChecking=no
首次执行会自动接受host key,成功返回shell即表示配置完成。

下载解压Hadoop并配置核心文件

从Apache官网下载Hadoop 3.3.6(兼容UOS内核与glibc版本),避免使用2.x老版本,因其不支持UOS默认的GLIBC_2.34。

下载后执行:
tar -xzf hadoop-3.3.6.tar.gz -C ~/opt/
ln -s ~/opt/hadoop-3.3.6 ~/hadoop

进入配置目录:
cd ~/hadoop/etc/hadoop

修改hadoop-env.sh:
找到# export JAVA_HOME=这一行,取消注释并填入实际JAVA_HOME路径,例如:
export JAVA_HOME=/opt/apps/org.bisheng.openjdk17/files

配置core-site.xml:
用nano编辑该文件,替换全部内容为:
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

配置hdfs-site.xml:
同样用nano编辑,填入:
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

格式化HDFS并启动伪分布式集群

第一次启动前必须格式化NameNode,否则DataNode无法注册,后续start-dfs.sh将无任何输出也不报错,极易误判为成功。

执行~/hadoop/bin/hdfs namenode -format

若看到“Storage directory /home/hadoop/hadoop_data/hdfs/name has been successfully formatted.”即表示成功;

启动HDFS服务:
~/hadoop/sbin/start-dfs.sh

检查进程是否启动:
jps
应显示NameNode、DataNode、SecondaryNameNode三个Java进程;

验证HDFS可用性:
~/hadoop/bin/hdfs dfs -mkdir /user
~/hadoop/bin/hdfs dfs -mkdir /user/hadoop
~/hadoop/bin/hdfs dfs -put ~/hadoop/etc/hadoop/core-site.xml /user/hadoop/

执行~/hadoop/bin/hdfs dfs -ls /user/hadoop,能看到core-site.xml文件即表示HDFS写入正常。

热门AI工具

更多
咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

相关专题

更多
hadoop是什么
hadoop是什么

hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。本专题为大家免费提供hadoop相关的文章、下载和课程。

911

2023.06.30

hadoop三大核心组件介绍
hadoop三大核心组件介绍

Hadoop的三大核心组件分别是:Hadoop Distributed File System(HDFS)、MapReduce和Yet Another Resource Negotiator(YARN)。想了解更多hadoop的相关内容,可以阅读本专题下面的文章。

1845

2024.03.13

hadoop的核心
hadoop的核心

hadoop的核心由分布式文件系统 (hdfs) 和资源管理框架 (mapreduce) 组成。想了解更多hadoop的相关内容,可以阅读本专题下面的文章。

2186

2024.05.16

Java 大数据处理基础(Hadoop 方向)
Java 大数据处理基础(Hadoop 方向)

本专题聚焦 Java 在大数据离线处理场景中的核心应用,系统讲解 Hadoop 生态的基本原理、HDFS 文件系统操作、MapReduce 编程模型、作业优化策略以及常见数据处理流程。通过实际示例(如日志分析、批处理任务),帮助学习者掌握使用 Java 构建高效大数据处理程序的完整方法。

1249

2025.12.08

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

60

2026.10.16

OpenJDK怎么配置Java开发环境
OpenJDK怎么配置Java开发环境

怎样用OpenJDK搭建开发环境?本专题介绍版本选择、下载安装、环境变量配置和编译运行验证,帮助你理清JDK的作用及基本配置流程,并通过简单程序检查环境是否可用,为后续项目开发做好准备。

40

2026.10.16

OpenJDK怎么部署Java应用
OpenJDK怎么部署Java应用

Java项目开发完成后,怎样部署到目标环境并正常运行?本专题介绍OpenJDK应用部署流程,涵盖运行环境准备、版本兼容检查、应用打包、启动参数配置和日志查看,帮助你理清部署前后的操作顺序,减少环境差异造成的运行问题。

40

2026.10.16

Revel框架模板渲染与表单验证
Revel框架模板渲染与表单验证

本专题围绕Revel框架视图层开发,介绍模板语法、变量输出、布局复用、表单提交、参数绑定与验证规则,帮助开发者完成安全规范的页面交互。

20

2026.10.16

Revel框架MVC路由与控制器
Revel框架MVC路由与控制器

本专题聚焦Revel框架MVC核心机制,讲解路由定义、控制器Action、参数绑定、请求响应和反向路由,并结合常见场景梳理接口请求处理流程。

20

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn