麒麟银河麒麟服务器操作系统-Hadoop适配手册

银河麒麟服务器操作系统Hadoop软件适配手册

银河麒麟服务器操作系统V4 hadoop软件适配手册

目 录

目 录. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .I

1概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2

系统概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2

环境概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2

HADOOP软件简介. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2

HDF S架构原理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2

MAPREDUC E介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

YARN介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4

2 HADOOP软件适配. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4

解压HADOOP软件. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4

配置文件修改. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4

配置HADOOP-ENV.SH. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4

配置YARN-ENV.SH. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

配置CORE-SITE.XML. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

配置HDFS-SIZE.XML. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

配置MAPRED-SITE.XML. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6

配置YARN-SITE.XML. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6

配置SLAVES. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

3格式化并启动集群. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

格式化NAMENODE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

启动NAMENODE和DATANODE守护进程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

启动RESOURCEMANAGER和NODEMANAGER守护进程. . . . . . . . . . . . . . . . .7

4执行WORDCO UN T测试用例. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

I

银河麒麟服务器操作系统V4 hadoop软件适配手册

1概述

系统概述

银河麒麟服务器操作系统主要面向军队综合电子信息系统、金融系统以及电力系统等国家关键行业的服务器应用领域突出高安全性、高可用性、高效数据处理、虚拟化等关键技术优势针对关键业务构建的丰富高效、安全可靠的功能特性兼容适配长城、联想、浪潮、华为、曙光等国内主流厂商的服务器整机产品 以及达梦、金仓、神通等主要国产数据库和中创、金蝶、东方通等国产中间件满足虚拟化、云计算和大数据时代服务器业务对操作系统在性能、安全性及可扩展性等方面的需求是一款具有高安全、高可用、高可靠、高性能的自主可控服务器操作系统。

环境概述

Ha do o p软件简介

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop实现了一个分布式文件系统Hadoop Distributed F ile System 简称HDFS。HDFS有高容错性的特点并且设计用来部署在低廉的low-cost硬件上而且它提供高吞吐量high thro ughp ut来访问应用程序的数据适合那些有着超大数据集large data set的应用程序。HDFS放宽了relax POSIX的要求 可以以流的形式访问streaming access文件系统中的数据。

Hadoop的框架最核心的设计就是 HDF S和Map Reduc e。HDF S为海量的数据提供了存储而MapReduce则为海量的数据提供了计算。

HD FS架构原理

HDFS是Hadoop分布式文件系统Hadoop Distributed F ile S ystem的缩写 为分布式计算存储提供了底层支持。采用J av a语言开发可以部署在多种普通的廉价机器上 以集群处理数量积达到大型主机处理性能。

2

银河麒麟服务器操作系统V4 hadoop软件适配手册

H DF S采用ma s te r/s la ve架构。一个HD F S集群包含一个单独的N ameN o d e和多个DataN o de。

N ameN ode作为ma ster服务 它负责管理文件系统的命名空间和客户端对文件的访问。NameNode会保存文件系统的具体信息包括文件信息、文件被分割成具体blo ck块的信息、 以及每一个b lock块归属的DataNode的信息。对于整个集群来说HDF S通过N ameNode对用户提供了一个单一的命名空间。

DataNode作为s lave服务在集群中可以存在多个。通常每一个DataNode都对应于一个物理节点。DataN o de负责管理节点上它们拥有的存储它将存储划分为多个block块 管理block块信息 同时周期性的将其所有的 block块信息发送给N ameN o de。

MapRe duce介绍

MapReduce是一种计算模型该模型可以将大型数据处理任务分解成很多单个的、可以在服务器集群中并行执行的任务而这些任务的计算结果可以合并在一起来计算最终的结果。简而言之 Hadoop Mapreduce是一个易于编程并且能在大型集群上千节点快速地并行得处理大量数据的软件框架 以可靠容错的方式部署在商用机器上。MapReduce这个术语来自两个基本的数据转换操作 map过程和reduce过程。

 ma pmap操作会将集合中的元素从一种形式转化成另一种形式在这种情况下 输入的键值对会被转换成零到多个键值对输出。其中输入和输出的键必须完全不同而输入和输出的值则可能完全不同。

 reduc e

某个键的所有键值对都会被分发到同一个re d uc e操作中。确切的说这个键和这个键所对应的所有值都会被传递给同一个Reducer。 reduce

过程的目的是将值的集合转换成一个值例如求和或者求平均 或者转换成另一个集合。这个Reducer最终会产生一个键值对。需要说明的是如果j ob不需要reduce过程的话那么re d uc e过程也是可以不用的。

 ta sk

Hadoop提供了一套基础设计来处理大多数困难的工作以保证任务可以成功执行比如Hadoop决定如果将提交的job分解为多个独立的map和reduc e任务

ta sk来执行 它就会对这些task进行调度并为其分配合适的资源决定将某个ta sk分配到集群中哪个位置如果可能通常是这个tas k所要处理的数据所在的位置这样可以最小化网络开销 。 Hadoop会监控每一个task确保其成功完

3

银河麒麟服务器操作系统V4 hadoop软件适配手册

成并重启一些失败的ta s k。

YARN介绍

YARN是Hadoop 2.0中的资源管理系统它的基本设计思想是将MRv1中的Job Tracker拆分成了两个独立的服务 一个全局的资源管理器Re sourc eManager和每个应用程序特有的ApplicationMaster。其中 Re sourceManager负责整个系统的资源管理和分配而App licationMaster负责单个应用程序的管理。

YARN 总体上仍然是master/slave结构 在整个资源管理框架中re sourc emanager为master nodemanager是slave。 Re sourcemanager负责对各个nademanger上资源进行统一管理和调度。当用户提交一个应用程序时需要提供一个用以跟踪和管理这个程序的App licationMaster 它负责向ResourceManager申请资源并要求NodeManger启动可以占用一定资源的任务。 由于不同的

App licatio nMaster被分布到不同的节点上 因此它们之间不会相互影响。

YARN的基本组成结构 YARN主要由ResourceManager、NodeManager、App licatio nMaster和Co ntainer等几个组件构成。

ResourceManager是Master上一个独立运行的进程 负责集群统一的资源管理、调度、分配等等 NodeManager是Slave上一个独立运行的进程 负责上报节点的状态 App Master和Container是运行在S lave上的组件 Container是yarn中分配资源的一个单位包涵内存、 CPU等等资源 yarn以Container为单位分配资源。

C lient向Resourc eManager提交的每一个应用程序都必须有一个App lic ationMaster它经过ResourceManager分配资源后运行于某一个Slave节点的Container中具体做事情的Task 同样也运行与某一个S lave节点的Co ntainer中。 RMNM AM乃至普通的C onta ine r之间的通信都是用RP C机制。

2 Hadoop软件适配

解压ha do o p软件

配置文件修改

配置hadoo p-env.sh

修改JAVA_HOME:

4

银河麒麟服务器操作系统V4 hadoop软件适配手册

配置yarn-env.sh

修改:

配置core-site.xml

内容如下

配置hdfs-size.xml

内容如下

5

银河麒麟服务器操作系统V4 hadoop软件适配手册

配置mapre d-site.xml

内容如下

配置yarn-s ite.xml

内容如下

6

银河麒麟服务器操作系统V4 hadoop软件适配手册

配置slave s

内容如下

3格式化并启动集群

格式化nameno de

启动na me n o de和data n o de守护进程

启动ResourceManager和NodeManager守护进程

4执行wordcount测试用例

7