A-A+

我对hadoop的理解

2012年11月11日 大数据 评论 1 条 阅读 17 次

hadoop优势

hadoop就是把一台计算机做不完的活分配给多台计算机做,这样就可以在短时间得到结果,对于处理TB,PB数量级的数据有很大的优势!也就是我们平常所说的分布式处理数据!针对海量的数据,当业务数据量总量或增速上升到一定级别,依靠关系型数据库一定无法支持。对于非关系型数据库,包括NoSQL和Solr一类存储方式,稍显复杂,对于机器集群性能要求偏高(相对于文件系统)。从数据使用模式上来讲,目前海量数据的常常是不包含复杂逻辑的简单统计整理(比如上述系统中的关键词匹配)。这时候文件系统的优势反而比较明显(结构简单,逻辑简单)。而且hadoop开源,任何人都可以免费部署,开发,对企业的业务有很大的帮助!hadoop有以下优点:⒈高可靠性。⒉高扩展性。⒊高效性。⒋高容错性。特别是高扩展性,可以很方便的增加服务器和减少服务器,弹性很大!对于企业的业务伸缩最具有很大帮助性!

hadoop环境

环境模拟架构:hadoop框架依赖于linux或unix平台使用,如果是window的话需要依赖cygwin模拟,包括一个namenode和三个datanode,其中secondaryNamenode和jobtracker都运行在namenode;DataNode和TaskTracker以及生成的MapReduce运行在datenode(1-3)服务器上,数据有三份备份,商用的时候它利用大量廉价的服务器组成集群,

hadoop架构

hadoop架构采用namenode和datanode的方式,而且是代码往数据转移的方法,避免了大量的数据传输,灵活性很高!而且3份备份数据,当某台服务器down机的时候,能很快的数据恢复!高容错!

hadoop工作方式

hadoop把输入数据划分成小数据发送到mapreduce(分片),它为每个分片创建map任务,我们自定义map函数分析每个分片的记录。MapReduce的工作过程分为两个阶段:map阶段和reduce阶段,每个阶段都有键/值作为输入和输出,定义两个函数:map函数和reduce函数,map函数只是一个数据准备阶段,reduce函数在此基础上工作。jobtracker和多个tasktracker控制作业的执行,jobtracker通过调度任务在tasktracker上运行来协调所有运行在系统上的作业。

标签:

1 条留言  访客:1 条  博主:0 条

  1. 哼哼猪

    学习一下

给我留言

Copyright © C/C++程序员之家 保留所有权利.   Theme  Ality 浙ICP备15011757号-3

用户登录