讲师中心 微信公众号

工具推荐

视频效率加速
Laper
Laper

剧本策划到成片协作

SoundView
SoundView

字幕擦除翻译、配音口型同步

updream

一键生成高质量推广成片

立刻MV
立刻MV

低成本歌曲 MV、视频生成

Hadoop每日一讨论整理版

云涛君_8622

云涛君_8622

发布时间:2016-06-07 16:30:45

|

1426人浏览过

|

来源于php中文网

原创

作者: Dong | 新浪微博: 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址:http://dongxicheng.org/mapreduce-nextgen/hadoope-every-day/ 本博客的文章集合:http://dongxicheng.org/recommend/ 重大消息:我的Hadoop新书


重大消息:我的Hadoop新书《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》已经开始在各大网站销售了,购书链接地址: 当当购书网址,京东购书网址,卓越购书网址。新书官方宣传主页: http://hadoop123.com/。

这是我在几个QQ群发起的Hadoop每日一讨论小活动,每天中午2点左右发出一个关于Hadoop的知识片段,在此做一个整理。

【每日一讨论】之计算框架(2013-5-21)

就计算框架而言,Hadoop目前比较成熟的只有离线计算框架MapReduce(通常运行时间在1min以上),以及构建在MapReduce之上支持sql的Hive。随着发展,实时计算(通常运行时间在0~5s)有了需求,于是诞生了仿照Google dremel实现的Apache Drill和Cloduera impala,Twitter的Storm和Yahoo!的S4,以及通过优化MapReduce实现的spark,和构建在spark之上支持sql的shark,但是,这些开源系统目前为止尚不稳定,尽管Impala前几天发布了1.0版本,但仍存在很多问题,这些系统中,已经开始投入使用的是Storm(至少淘宝在大规模使用)。

【每日一讨论】之下一代Hadoop(2013-5-22)

下一代Hadoop主要由分布式文件系统HDFS和资源管理系统YARN组成,其中HDFS支持多个NameNode水平扩展和HA,也被称为“HDFS Federation”;YARN是在第一代MapReduce演化而来的,它是一个资源管理系统,之上可以运行多种计算框架,包括MapReduce、Storm、Spark、Tez等,带来的好处包括更好的扩展性、支持多种计算框架等,当前各种计算框架正在往YARN上转移,将来,YARN将变成一个云操作系统,或者称为“轻量级弹性计算平台”,所以计算框架将运行在YARN之上,由YARN统一管理和调度。

【每日一讨论】之下一代Hadoop带来的好处(2013-5-23)

昨天谈到,下一代Hadoop由HDFS Federation和YARN组成,今天重点说一下YARN。YARN是一个资源统一管理系统,相比与MRv1,带来的好处包括:更好的扩展性、可用性、支持多种计算框架等,前两个特性,很多中小公司用不到,毕竟集群规模不大,仅使用MRv1也不会遇到扩展性和可用性的问题,重点说一下第三个特性,MRv1仅支持MapReduce一种离线计算框架,应用场景非常有限。而YARN则不同,它是一个轻量级弹性计算平台,很多新型计算框架只能运行在YARN上(不能独立运行),比如DAG计算框架Tez、实时计算框架Spark(也可运行在另一种资源管理系统Mesos之上),即使现有的计算框架,比如MapReduce(已经支持)、Storm、MPI,也正在转移到YARN上运行。关于YARN的学习,可参考:http://955.cc/dHM2。

【每日一讨论】之MapReduce Shuffle优化方法(2013-5-24)

MapReduce的性能瓶颈之一在于Shuffle阶段,Shuffle阶段采用了C/S模型,Reduce Task作为Client端从各个Map Task所在节点上(装有一个Http Server)拉取数据。因此,shuffle优化优化可分为两个方面,一是对Server端优化,通常用Netty代替Jetty(1.0中采用)作为Http Server,以提高并发性能;二是Client端优化,常用方法是将Shuffle从Reduce Task中独立出来,让其不再占用槽位,这样可交错使用IO和CPU,进而提高资源利用率。关于Shuffle阶段的详细过程分析可参考最新Hadoop内幕书籍《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》(http://hadoop123.com/)中的第8.4节“Reduce Task内部实现 ”和8.5节”Map/Reduce Task优化“。

【每日一讨论】之Hadoop 1.0与Hadoop 2.0(2013-5-31)

Hadoop 1.0:对应版本为apache 1.x和cdh3,主要由HDFS和MapReduce构成,当前是稳定版,各大公司普遍采用这一版本;Hadoop 2.0:对应版本为apache 0.23.x,2.x和cdh4,主要由HDFS、MapReduce和YARN构成,其中HDFS解决了HA,YARN支持多种计算框架,目前尚不稳定,只发布了alpha版本,预计一年左右会出现稳定版(目前是alpha版,过段时间belta版,最后是稳定版),目前只有很少的公司尝试性使用或者测试用。如果想学习或使用Hadoop,推荐使用最新版本的1.1.x版本或者cdh3u6,这两个版本属于不同发行版(不同之处对比可阅读:http://dongxicheng.org/mapreduce-nextgen/how-to-select-hadoop-versions/),但是包含的功能一致。尽管Hadoop 2.0采用了新的架构,但是很多模块仍重用了1.0的,比如Map Task和Reduce Task实现,调度器实现(包括FIFO、Fair Scheduler 和Capacity Scheduler)等,对于Hadoop 1.0尚未搞透的同学,不提倡直接学习2.0,因为2.0学习难度远大于1.0. 对于Hadoop初学者,一定要多动手实践,如果不知如何开始,那就从搭建一个Hadoop集群开始吧,对于有一定基础的Hadoop学习者,如果想进一步学习Hadoop内部实现,可参考最新Hadoop畅销书籍《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》(前三章试读已经放到群共享里了。该书链接:http://955.cc/dYzX)

【每日一讨论】之如何规划属于自己的Hadoop发展道路(2013-6-3)

这次仅是我个人片面之词,供Hadoop初学者和迷茫着借鉴。通常而言,选择Hadoop作为自己未来的方向,可有两个选择方向:Hadoop应用程序开发和Hadoop内核优化,前面侧重于Hadoop之上的应用,比如利用Hadoop进行数据分析,推荐和数据挖掘算法的开发等,后者侧重Hadoop系统本身,通常根据实际遇到的问题开发一些新特性或者修复Hadoop bug等,当然也会为应用开发者提供技术指导。不管选择哪一个方向,都需要从Hadoop基础学习,而Hadoop是一个实践性很强的技术,因此必须多实践,如果你还不知道从何学起,那么就先从搭建一个Hadoop集群开始吧,然后使用它,玩弄它,感受它,之后可以尝试编写MapReduce程序,阅读一些入门书籍,比如Hadoop权威指南等,学习过程中,一定要多实践多交流,努力给自己创造一个良好的Hadoop学习氛围。如果你已经入门了,不管是Hadoop应用开发还是Hadoop内核开发,都要努力了解Hadoop内部实现原理(技术内幕)。

【每日一讨论】之Hadoop 2.0离稳定到底还有多远?(2013-6-6)

微博热搜采集 | Weibo Hot Search
微博热搜采集 | Weibo Hot Search

微博多频道热搜数据采集与可视化 | 支持同步抓取热搜总榜、社会榜、文娱榜、生活榜

下载

Hadoop 2.0(对应版本为apache 0.23.x,2.x和cdh4)是下一代Hadoop,采用了全新的架构和软件设计,目前apache官方仍处于alpha版,而cloudera早就发布了cdh4系列,并声称是稳定版,可以线上使用。实际上,cdh4的所有代码和补丁来自apache官方,只不过是提前将一些补丁打入自己的版本,但它并没有经过严格的测试,cloudera声称cdh4稳定是不太可靠的,毕竟apache版本才处于alpha版(而apache每次发布版本时,都会说明在多少节点的线上集群上得到试用)。究其原因,可能是Hadoop发行版之间竞争过于激烈,都想第一时间抢夺市场导致的。据Hadoop负责人介绍(http://955.cc/evdX),hadoop 2.0 beta版将在2个月后发布,而稳定版将在3个月后发布,按照软件总是延期的理论,我们可以乐观推测6个月后,也就是年底,2.0版本可以稳定,届时可以在线上环境中使用。

【每日一讨论】之常见开源系统的问题域(2013-6-7)

在Hadoop生态系统或者周边开源系统中,存在大量的数据计算相关的系统,包括MapReduce、Hive、Pig、Impala、Storm、Spark等,它们之间到底什么关系,是替代还是互补呢?个人认为,这些系统共同构建了一个良好的生态系统,他们各有自己对应的问题域,互补解决各类问题。根据Cloudera对系统的划分,按照时间指标可分为四个种类,划分标准与对应的系统分别是(1)实时应用场景(0~5s):Storm、S4、Cloudera Impala,Apache Drill等;(2)交互式场景(5s~1m):这种场景通常能要求必须支持SQL,则可行系统有:Cloudera Impala、Apache Drill、Shark等;(3)非交互式场景(1m~1h):通常运行时间较长,处理数据量较大,对容错性和扩展性要求较高,可行系统有:MapReduce、Hive、Pig、Stinger等;(4)批处理场景(1h+):通常运行时间很长,处理数据量很大,对容错性和扩展性要求很高,可行系统有:MapReduce、Hive、Pig、Stinger等。

【每日一讨论】几个学习Hadoop必须知道的资料(2013-6-8)

今天给大家介绍几个学习Hadoop必须知道的资料,这些资料大部分是英文的。(1)博客:cloudera和hortonworks的官方博客,从这两个博客里,你可以了解最新的Hadoop动态,博客地址:http://blog.cloudera.com/blog/和 http://hortonworks.com/blog/(也可以参考我的博客:http://dongxicheng.org/ ) ,(2)Hadoop书籍:入门级《Hadoop权威指南 》和《Hadoop实战》(外国人写的那本,有中文翻译版),进阶的是《Hadoop技术内幕》书籍。(3)Hadoop源代码下载地址,Apache下载:http://hadoop.apache.org/releases.html(仅包含最新的alpha版、beta版和稳定版下载包 )、Hadoop SVN:http://svn.apache.org/repos/asf/hadoop/common/branches/(包含Apache 各个版本,可直接导入eclipse),CDH版本下载:http://archive.cloudera.com/cdh/3/(CDH3系列) 和http://archive.cloudera.com/cdh4/cdh/4/(CDH4系列), (4)Hadoop jira(Hadoop项目管理工具,可下载各种patch,跟踪每个问题的解决思路和进展,也可以自己提交问题和patch):https://issues.apache.org/jira/browse/YARN,https://issues.apache.org/jira/browse/HDFS。

【每日一讨论】认识Hadoop jira的重要性(2013-6-13)

很多人没有意识到Hadoop jira(Hadoop项目管理工具)的作用,jira的作用非常的不可小觑,首先,每次Hadoop版本发行的时候,在release文件(比如http://hadoop.apache.org/docs/r2.0.5-alpha/hadoop-project-dist/hadoop-common/releasenotes.html)中,会注明增加的特性或者修复的bug,里面每条会带一个 jira链接,你如果对哪个特性感兴趣,可以查看或者打补丁(jira链接里有补丁) ,其次,每个jira链接记录了每个特性的来龙去脉,你可以了解这个问题是怎么产生的,怎么解决的,整个过程,尽管不是直接的研发人员,但是你可以清楚的了解到,比如HADOOP-7206记录了如何将google的snappy压缩算法集成到Hadoop中,链接是https://issues.apache.org/jira/browse/HADOOP-7206。在我的Hadoop新书《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》中引用了大量的jira链接(这些都是最重要的jira链接,经过我筛选的,节省了大家很多时间),全部在最后的附录中罗列出来了,有兴趣的可以阅读每个jira链接。最后,尽管我们大部分人无法参与Hadoop源代码的编写,但是可以参与讨论每个特性,你可以在jira网站(https://issues.apache.org/jira/)上 注册一个账号,并点击你感兴趣jira页面中的watch按钮,这样,该jira链接中有任何改动,均会发到你的邮箱,你可以参与讨论,甚至贡献patch。总之,学会利用Hadoop jira是一个Hadoop程序员必备的能力之一。

【每日一讨论】计算框架之上的SQL引擎(2013-6-14)

当前开源届有很多计算框架,包括MapReduce、Tez、Storm、Spark等,你可以直接在这些计算框架上编写应用程序(低效、难度较大),也可以通过结构化或者脚本语言(简单,易于上手)解决一些大数据问题。我们重点谈一下后一种。MapReduce之上的SQL引擎是Hive和Pig(Pig是一种脚本语言,功能比SQL更强大);Tez正在发展中,将来也会用于Hive上,该新系统被命名为Stinger;Spark之上的SQL引擎为Shark;Storm目前没有可用的开源SQL引擎,阿里巴巴内部实现了一个,但是不支持开源版本。还有其他两种系统,对SQL有非常迫切要求,第一个是HBase,目前开源届没有支持SQL的版本,但是有商业公司已经做出来了;第二个是Impala这种类google dremel的系统,这种系统是传统数据库与HDFS的杂种,它几乎支持所有传统数据库的SQL语法,而其他系统,包括Hive、Shark、SQL-On-HBase等则只支持ANSI-92 SQL语法的一个子集,这主要是由于大数据时代特殊的计算模型和扩展性、容错性要求导致的,比如Hive只支持查询语句,不支持修改和删除,而SQL-On-HBase则支持各种语句,但是仅能有限的支持,尤其是Join难以支持。对于以上知识,传统公司(采用传统数据库存储和解决问题的公司)向Hadoop解决方案转型时,应当十分注意。

原创文章,转载请注明: 转载自董的博客

本文链接地址: http://dongxicheng.org/mapreduce-nextgen/hadoope-every-day/

作者:Dong,作者介绍:http://dongxicheng.org/about/

本博客的文章集合:http://dongxicheng.org/recommend/


Copyright © 2013
This feed is for personal, non-commercial use only.
The use of this feed on other websites breaches copyright. If this content is not in your news reader, it makes the page you are viewing an infringement of the copyright. (Digital Fingerprint:
)

热门AI工具

更多
蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

SoundView
SoundView Hot

SoundView是一款面向跨境电商的视频翻译、配音和本地化 AI 创作平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
Navicat创建数据库教程
Navicat创建数据库教程

本专题整理Navicat创建数据库相关教程,介绍新建前的准备、基础设置和创建后的检查方法。内容兼顾入门学习及实际使用需求,帮助用户了解不同数据库类型下的操作差异,为后续建表、保存数据和日常管理提供参考。

0

2026.11.20

Navicat入门教程大全
Navicat入门教程大全

本专题整理Navicat入门教程,从认识软件界面到开展数据库操作,介绍初次使用需要了解的知识和方法。内容兼顾连接配置、数据管理及日常使用中的疑问,方便用户按学习进度查阅,为后续实践和独立操作打好基础。

0

2026.11.20

Navicat数据库连接配置指南
Navicat数据库连接配置指南

从确认数据库信息到建立可用连接,本专题串联Navicat连接数据库的相关知识和操作方法。既有初次配置时需要了解的基础内容,也有连接后的检查思路,方便用户按实际需求查阅教程,逐步熟悉数据库连接的设置流程。

0

2026.11.20

PHP8.6数组与数据处理教程
PHP8.6数组与数据处理教程

本专题汇总PHP8.6数组与数据处理教程,涵盖CSV读取和导出、引用遍历删除、array_filter回调模式、配置键名冲突、pathinfo文件名校验、GMP大整数进制转换及UTF-8正则筛选,说明升级兼容变化、输入范围和失败处理方法。

0

2026.11.20

PHP8.6升级迁移教程
PHP8.6升级迁移教程

本专题汇总PHP8.6升级迁移与弃用接口改造教程,涵盖反射调用、对象属性赋值、标识符更名、构造函数与__debugInfo调整,以及插件类名检查、常量导出、ArrayIterator排序、SPL和DTO查询参数转换,帮助梳理弃用提示并完成代码兼容改造。

0

2026.11.20

PHP8.6安装配置与FPM运维教程
PHP8.6安装配置与FPM运维教程

本专题汇总PHP8.6正式版安装部署与FPM运维教程,涵盖Linux并存安装、独立ini配置、扩展重新编译、Nginx切换与回滚、FPM状态监控和慢日志排查,以及环境变量、请求超时、OPcache刷新和预加载配置。

0

2026.11.20

Nginx CVE-2026-123007排查与防护指南
Nginx CVE-2026-123007排查与防护指南

Nginx HTTP/2漏洞该怎么修复?本专题围绕CVE-2026-123007,介绍安全版本升级、模块兼容检查和配置恢复方法,以及日志排查、权限设置等后续加固操作,方便你按实际部署情况查找对应教程。

20

2026.11.20

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

80

2026.11.17

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

80

2026.11.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
尚学堂Mahout视频教程
尚学堂Mahout视频教程

共18课时 | 3.8万人学习

光速学会docker容器
光速学会docker容器

共33课时 | 3.1万人学习

时间管理,自律给我自由
时间管理,自律给我自由

共5课时 | 1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn