返回顶部
位置: 首页>下载中心>应用软件>应用其他>apache hadoop官方最新版
apache hadoop官方最新版 2.7.1

软件简介

软件截图

apache hadoop是一个开发和运行处理大规模数据的软件平台,是用java语言实现开源软件框架;apache hadoop以实现在大量计算机组成的集群中对海量数据进行分布式计算,本站提供apache hadoop 下载。

apache hadoop简介:
软件最核心设计就是:HDFS和MapReduce,其中HDFS提供了海量数据的存储,而MapReduce提供了对数据的计算。目前hadoop已经成为许多程序员的一项重要技能,通常适合于大规模分布式数据处理。
根据Apache软件组织的介绍,apache hadoop项目是开发一款可靠的、可扩展性的、分布式计算的开源软件,它是基于Google的MapReduce system开发的一个开源版本,拥有以下6项功能:一是Hadoop是一个开源的框架;二是Hadoop能够进行大规模数据集地分布式处理;三是Hadoop能够用计算机集群存储海量数据;四是Hadoop可以从单一服务器扩展到成千上万的服务器,这些服务都能够提供本地化的存储和计算;五是Hadoop具有能够检测和处理应用层错误的能力;六是Hadoop包括Hadoop common/HDFS/Hadoop YARN/Hadoop MapReduce四个模块,每个模块负责各自的事务。

apache hadoop功能特点:
1.扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据。
2.成本低(Economical):可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。
3.高效率(Efficient):通过分发数据,hadoop可以在数据所在的节点上并行地(parallel)处理它们,这使得处理非常的快速。
4.可靠性(Reliable):hadoop能自动地维护数据的多份复制,并且在任务失败后能自动地重新部署(redeploy)计算任务。
功能介绍
1.hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。
HDFS有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(highthroughput)来访问应用程序的数据,适合那些有着超大数据集(largedataset)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streamingaccess)文件系统中的数据。
2.Hadoop还实现了MapReduce分布式计算模型。
MapReduce将应用程序的工作分解成很多小的工作小块(smallblocksofwork)。HDFS为了做到可靠性(reliability)创建了多份数据块(datablocks)的复制(replicas),并将它们放置在服务器群的计算节点中(computenodes),MapReduce就可以在它们所在的节点上处理这些数据了。
3.HadoopAPI被分成(divideinto)如下几种主要的包(package)
org.apache.hadoop.conf定义了系统参数的配置文件处理API。
org.apache.hadoop.fs定义了抽象的文件系统API。
org.apache.hadoop.dfsHadoop分布式文件系统(HDFS)模块的实现。
org.apache.hadoop.io定义了通用的I/OAPI,用于针对网络,数据库,文件等数据对象做读写操作。
org.apache.hadoop.ipc用于网络服务端和客户端的工具,封装了网络异步I/O的基础模块。
org.apache.hadoop.mapredHadoop分布式计算系统(MapReduce)模块的实现,包括任务的分发调度等。
org.apache.hadoop.metrics定义了用于性能统计信息的API,主要用于mapred和dfs模块。
org.apache.hadoop.record定义了针对记录的I/OAPI类以及一个记录描述语言翻译器,用于简化将记录序列化成语言中性的格式(language-neutralmanner)。
org.apache.hadoop.tools定义了一些通用的工具。
org.apache.hadoop.util定义了一些公用的API。
相关文章
Apache配置详解教程

Apache配置详解教程

2013-06-27

Apache配置成功与否,关系着网站是否能够在服务器上正常运行以及网站是否安全。Apache配置以及相关的日记分析、服务器优化等等能够提升网站的性能与安全!

0条评论

网友评论

温馨提示:您的评论需要经过审核才能显示,请文明发言!

分类导航
换一批 热门下载
换一批 手游推荐
本类排行
  • 支付宝下载电脑版客户端2017官方版 支付宝下载电脑版客户端2017官方版 更新于2016-11-18 点击下载

    本站提供支付宝2017电脑版下载,支付宝客户端电脑版是一款通过安卓模拟器在pc电脑上运行,支付宝电脑版2017拥有收款、付款、转账、缴费、充值、电子券操作功能未一起,随时随身,让你自由自在“支付宝”。

  • 360软件管家官方2017独立版 360软件管家官方2017独立版 更新于2016-11-18 点击下载

    本站提供360软件管家官方下载,360软件管家官方下载2017独立版是360安全卫士中提供的一个集软件下载、更新、卸载、优化于一体的工具,360软件管家2017是一款独立版本不安装360安全卫士的情况下运行!

  • 驾校一点通2017科目一/科目四电脑版 驾校一点通2017科目一/科目四电脑版 更新于2016-11-18 点击下载

    驾校一点通2017科目一电脑版是一款为各位广大的驾照笔试者推出的模拟练习软件,让你在pc电脑上通过驾校一点通2017电脑版熟悉各种考试题目和全新的题库,让你轻松考过。

  • 新驾考宝典2016电脑版官方pc版 新驾考宝典2016电脑版官方pc版 更新于2016-11-18 点击下载

    驾考宝典2016电脑版适应2016年新交规,全面解读2014驾考新规中科目一、科目三的变化,驾考宝典2016电脑版为学员提供包含章节、顺序、随机练习的多维练习模式下载本软件熟悉驾驶技能、理论考试技巧,考驾照更有保障!

  • MD5值计算器fHash绿色版 MD5值计算器fHash绿色版 更新于2016-11-18 点击下载

    fHash是一款免费的MD5值计算器,能够简单的简单快速的文件 Hash 计算器可以计算 MD5, SHA1, CRC32还可以检测文件大小和程序版本支持拖放.支持win7