讲师中心 微信公众号

工具推荐

视频效率加速
updream

一键生成高质量推广成片

SoundView
SoundView

字幕擦除翻译、配音口型同步

Laper
Laper

剧本策划到成片协作

AniShort
AniShort

AI短剧协同制作平台

ubuntu12.04+hadoop2.3.0+eclipse+IHPI安装配置

夜辰君_5625

夜辰君_5625

发布时间:2016-06-07 15:09:15

|

1738人浏览过

|

来源于php中文网

原创

3.2分布式搭建 hostname 角色 登录用户 IP 网关 hapmaster 主控master hadoop 210.31.181.211 210.31.181.1 hapslave1 附属slave hadoop 210.31.181.216 210.31.181.1 hapslave2 附属slave hadoop 210.31.181.217 210.31.181.1 hapslave3 附属slave hadoop 2


3.2  分布式搭建

hostname

角色

登录用户

IP

网关

hapmaster

主控master

hadoop

210.31.181.211

210.31.181.1

hapslave1

附属slave

hadoop

210.31.181.216

210.31.181.1

hapslave2

附属slave

hadoop

210.31.181.217

210.31.181.1

hapslave3

附属slave

hadoop

210.31.181.218

210.31.181.1

hapslave4

附属slave

hadoop

210.31.181.219

210.31.181.1

表3-1 集群网络配置

1.安装ubuntu12.04 系统,更新源,初始化root用户,关闭防火墙,按表3-1中个节点的配置修改IP,更改hostname和hosts,重启电脑使更改生效。

a.更新源()

b.初始化root用户

打开终端输入:sudo passwd
Password: Enter new UNIX password: Retype new UNIX password: c.关闭防火墙

sudo ufw disable

d.配置修改IP

用鼠标点右上角的网络设置进行修改,最好不要直接修改/etc/network/interfaces)

e.更改hostname和hosts

sudo vi /etc/hostname

f.编辑/etc/sudoers文件。也就是输入命令"vim /etc/sudoers",进入编辑模式,找到这一行:"root ALL=(ALL) ALL"在下面分别添加"hadoop ALL=(ALL) ALL",然后保存退出。

2.安装SSH ,并检查是否安装成功。

 sodu apt-get install ssh,如果不成功检查一下是否做过更新源。

3. 安装JDK,修改环境变量,使更改生效,查看java版本。

a.JDK要下载1.6.0版本的,最好安装到/home/hadoop下。

b.修改环境变量sudo gedit /etc/profile

export JAVA_HOME=/hadoop/jdk1.6.0_41

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib

c.使更改生效sudo source /etc/profile

d.查看java版本java -version

4. 安装Hadoop(下载地址http://pan.baidu.com/s/1o62oUeA),配置环境变量,重载 source /etc/profile,查看hadoop版本,赋予用户对hadoop安装目录可写的权限。

a.安装 

sudo tar -zxvf hadoop-2.3.0.tar.gz -C /home/hadoop

b.配置环境变量

在export PATH=/hadoop/hadoop-2.3.0/sbin:/hadoop/hadoop-2.3.0/bin:$JAVA_HOME/bin:$PATH$

c.重载 

source /etc/profile

d.查看hadoop版本

hadoop version

e.赋予用户对hadoop安装目录可写的权限

sudo chown -hR hadoop/hadoop-2.3.0/ 

5. Hadoop集群配置

配置文件1:hadoop-env.sh

修改JAVA_HOME值(export JAVA_HOME=/home/hadoop/jdk1.6.0_41)

配置文件2:yarn-env.sh

修改JAVA_HOME值(exportJAVA_HOME=/home/hadoop/jdk1.6.0_41)

配置文件3:slaves,这个文件里面保存所有slave节点的hostname。

hapslave1

hapslave2

hapslave3

hapslave4

 
 
配置文件4:core-site.xml

ubuntu12.04+hadoop2.3.0+eclipse+IHPI安装配置

配置文件5:hdfs-site.xml

ubuntu12.04+hadoop2.3.0+eclipse+IHPI安装配置
配置文件6:mapred-site.xml

ubuntu12.04+hadoop2.3.0+eclipse+IHPI安装配置

6. 使用将hapmaster的所有文件及配置复制到hapslave,修改IP和hostname;

7. 生成新公钥,并复制到其他节点,重启SSH服务命令使其生效,并登陆。

8.启动hadoop集群,查看集群状态。

start-all.sh
9. 测试WordCount在本地新建文件夹input,内有两文本文件,内容为单词。上传输入文件到HDFS,运行WordCount ,运行如下图所示

ubuntu12.04+hadoop2.3.0+eclipse+IHPI安装配置
查看结果 ./bin/hadoop fs -cat /output/part-r-00000

停止,运行情况如下图所示。

ubuntu12.04+hadoop2.3.0+eclipse+IHPI安装配置

4 开发平台的配置

4.1 Eclipse安装

1. 进入安装包所在的文件夹,并解压安装包到hadoop用户文件夹下。

tar -zxvf eclipse-standard-luna-M2-linux-gtk.tar.gz -C /home/hadoop/

4.2 在eclipse上安装hadoop插件

1. 复制hadoop-eclipse-plugin-2.3.0.jar到eclipse安装目录/plugins/下(下载地址http://pan.baidu.com/s/1jGC60KY,重命名为hadoop-eclipse-plugin-2.3.0.ja)。

2. 重启eclipse,配置hadoop installation directory。

打开Window-->Preferens,选择Hadoop Map/Reduce选项,在这个选项里配置Hadoop installationdirectory。配置完成后退出。

3. 配置Map/Reduce Locations。

在Window-->Show View中打开Map/Reduce Locations。

在Map/Reduce Locations中新建一个Hadoop Location。在这个View中,右键-->New Hadoop Location。在弹出的对话框中配置Location name为Hadoop,Map/Reduce Master Host为210.31.181.211,Port为10020;DFS Master Port为9000.

4. 新建Map/Reduce项目,验证hadoop插件是否安装成功。

File-->New-->Other-->Map/Reduce Project项目名取为WordCount。 复制hadoop-2.3.0-src/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples/WordCount.java到workspace刚刚新建的的项目文件夹下。

5. 上传模拟数据文件夹。

在DFS Locations下的文件夹处点击右键,选择上传一个文件夹。在弹出的窗口中填入要上传的文件夹的路径。

6. 用Eclipse运行WordCount。

在新建的项目下,点击WordCount.java,右键-->Run As-->RunConfigurations。

在弹出的Run Configurations对话框中,点Java Application,右键-->New,这时会新建一个application名为WordCount。

配置运行参数,点Arguments,在Program arguments中输入hdfs://210.31.181.211:9000/input/hdfs://210.31.181.211:9000/output。

配置VM arguments为-Xms512m -Xmx1024m-XX:MaxPermSize=256m。

点击Run as-> Run on Hadoop,运行程序。

7. 查看运行结果

在DFS Location处点击鼠标右键->Refresh

在part-r-00000处点击右键->View,查看运行结果。

4.3 添加HIPI接口

把hipi-dev.tar.gz(下载地址http://pan.baidu.com/s/1eQFwzFc)中3rdparty中的metadata-extractor-2.3.1.jar导入的到项目中去。

将junit-4.11.jar导入到项目中。

由于现在HIPI还有一些BUG,所以把hipi-dev.tar.gz中src的源码和experiments源码引入到eclipse的jar项目中,一方面便于学习源码,另一方面便于修改其中的问题。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

讯飞智文

一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

相关专题

更多
Nginx CVE-2026-123007排查与防护指南
Nginx CVE-2026-123007排查与防护指南

Nginx HTTP/2漏洞该怎么修复?本专题围绕CVE-2026-123007,介绍安全版本升级、模块兼容检查和配置恢复方法,以及日志排查、权限设置等后续加固操作,方便你按实际部署情况查找对应教程。

0

2026.11.20

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

40

2026.11.17

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

60

2026.11.17

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

80

2026.11.17

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

20

2026.11.17

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

80

2026.11.17

SQLAlchemy ORM 模型怎么写
SQLAlchemy ORM 模型怎么写

SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

40

2026.11.17

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

180

2026.11.12

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

140

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn