首页 > 实验教学 > 1.1.5 Spark数据处理

1.1.5 Spark数据处理

Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
本类实验主要侧重用Spark进行大数据处理的基本方法。本类实验包括:Spark环境搭建和配置、数据读入、数据统计、数据清洗、数据相关性和Spark SQL。通过本类实验,学生可以掌握用Spark进行大数据处理的常用方法和流程。

虹口校区
中国上海市大连西路550号(200083)
松江校区
中国上海市文翔路1550号(201620)