Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上;而且它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要求,可以以流的形式访问文件系统中的数据。
本类实验主要侧重用Hadoop进行大数据分析的基本方法。本类实验包括:Hadoop环境搭建和配置、HDFS原理及操作和MapReduce原理及操作。通过本类实验,学生可以掌握用Hadoop进行大数据分析的常用方法和流程。