厦门大学计算机科学系研究生课程

《大数据技术原理与应用》上机练习安装Hadoop主讲教师:林子雨厦门大学数据库实验室二零一五年九月目录1作业题目12作业目的13作业性质14作业考核方法15作业提交日期与方式16实验平台17实验内容和要求17.
1下载相关软件17.
2安装Linux虚拟机27.
3进行Hadoop伪分布式安装28实验报告2附录1:任课教师介绍2附录2:课程教材介绍2《大数据技术原理与应用》安装Hadoop上机练习说明主讲教师:林子雨E-mail:ziyulin@xmu.
edu.
cn个人主页:http://www.
cs.
xmu.
edu.
cn/linziyu作业题目安装Hadoop.
作业目的1.
掌握Linux虚拟机安装方法.
Hadoop在Linux操作系统上运行可以发挥最佳性能,鉴于目前很多读者可能正在使用Windows操作系统,因此,为了完成本书的后续实验,这里有必要通过本实验让读者掌握在Windows操作系统上搭建Linux虚拟机的方法.

2.
掌握Hadoop的伪分布式安装方法.
很多读者并不具备集群环境,需要在一台机器上模拟一个小的集群,因此,需要通过本实验让读者掌握在单机上进行Hadoop的伪分布式安装方法.

作业性质课后作业,必做,作为课堂平时成绩.
作业考核方法提交上机实验报告,任课老师根据上机实验报告评定成绩.
作业提交日期与方式林子雨编著《大数据技术原理与应用》教材第二章大数据处理架构Hadoop内容结束后的下一周周六晚上9点之前提交.

实验平台操作系统:Windows系统或者CentOS7(推荐).
虚拟机软件:推荐使用的开源虚拟机软件为VirtualBox.
VirtualBox是一款功能强大的免费虚拟机软件,它不仅具有丰富的特色,而且性能也很优异,简单易用,可虚拟的系统包括Windows、MacOSX、Linux、OpenBSD、Solaris、IBMOS2甚至Android4.
0系统等操作系统.
读者可以在Windows系统上安装VirtualBox软件,然后在VirtualBox上安装并且运行Linux操作系统.
本次实验默认的Linux发行版为CentOS7.

实验内容和要求下载相关软件如果读者正在使用Linux操作系统,可以跳过本步,不需要下载相关软件.
如果读者正在使用Windows操作系统,请下载VirtualBox4.
3.
20和CentOS7镜像文件.

VirtualBox4.
3.
20的下载地址:https://www.
virtualbox.
org/wiki/DownloadsCentOS7的镜像文件下载地址:http://isoredirect.
centos.
org/centos/7/isos/x86_64/CentOS-7.
0-1406-x86_64-DVD.
iso安装Linux虚拟机如果读者正在使用Linux操作系统,则不需要了解Windows系统上的Linux虚拟机安装方法.
如果读者正在使用Windows操作系统,则需要在Windows系统上安装Linux虚拟机.
首先,在Windows系统上安装虚拟机软件VirtualBox4.
3.
20;然后,在虚拟机软件VirtualBox上安装CentOS7操作系统.

进行Hadoop伪分布式安装在Linux环境下完成伪分布式环境的搭建,并运行Hadoop自带的WordCount实例检测是否运行正常.

实验报告厦门大学计算机系研究生课程《大数据技术原理与应用》实验报告题目:姓名日期实验环境:实验内容与完成情况:出现的问题:解决方案(列出遇到的问题和解决办法,列出没有解决的问题):附录1:任课教师介绍林子雨(1978-),男,博士,厦门大学计算机科学系助理教授,主要研究领域为数据库,实时主动数据仓库,数据挖掘.

主讲课程:《大数据技术基础》办公地点:厦门大学海韵园科研2号楼E-mail:ziyulin@xmu.
edu.
cn个人主页:http://www.
cs.
xmu.
edu.
cn/linziyu数据库实验室网站:http://dblab.
xmu.
edu.
cn附录2:课程教材介绍《大数据技术原理与应用——概念、存储、处理、分析与应用》,由厦门大学计算机科学系教师林子雨博士编著,是中国高校第一本系统介绍大数据知识的专业教材.
本书定位为大数据技术入门教材,为读者搭建起通向"大数据知识空间"的桥梁和纽带,以"构建知识体系、阐明基本原理、引导初级实践、了解相关应用"为原则,为读者在大数据领域"深耕细作"奠定基础、指明方向.

全书共有13章,系统地论述了大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、流计算、图计算、数据可视化以及大数据在互联网、生物医学和物流等各个领域的应用.
在Hadoop、HDFS、HBase和MapReduce等重要章节,安排了入门级的实践操作,让读者更好地学习和掌握大数据关键技术.

本书可以作为高等院校计算机专业、信息管理等相关专业的大数据课程教材,也可供相关技术人员参考、学习、培训之用.