首页 > 实验教学 > 1.1.3 Hadoop数据处理

1.1.3 Hadoop数据处理

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上;而且它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要求,可以以流的形式访问文件系统中的数据。
本类实验主要侧重用Hadoop进行大数据分析的基本方法。本类实验包括:Hadoop环境搭建和配置、HDFS原理及操作和MapReduce原理及操作。通过本类实验,学生可以掌握用Hadoop进行大数据分析的常用方法和流程。

虹口校区
中国上海市大连西路550号(200083)
松江校区
中国上海市文翔路1550号(201620)