Spark大作业

Spark大作业

使用Spark框架进行网站用户购物分析

• Spark大作业
• • 目的
  • 要求
  • 步骤
• 大作业报告及数据集

Spark大作业 目的

1、熟悉Linux系统、MySQL、Spark、Hbase、Hive、Sqoop、R、Eclipse、IntelliJ Idea等系统和软件的安装和使用；
2、了解大数据处理的基本流程；
3、熟悉数据预处理方法；
4、熟悉在不同类型数据库之间进行数据相互导入导出；
5、熟悉使用R语言进行可视化分析；
6、熟悉使用Eclipse或IntelliJ Idea编写Java程序 *** 作Hbase数据库

要求

1、对文本文件形式的原始数据集进行预处理
2、把文本文件的数据集导入到数据仓库Hive中
3、对数据仓库Hive中的数据进行查询分析
4、使用Sqoop将数据从Hive导入MySQL
5、使用Sqoop将数据从MySQL导入Hbase
6、使用Hbase Java API把数据从本地导入到Hbase中
7、使用R对MySQL中的数据进行可视化分析

步骤

步骤一:本地数据集上传到数据仓库Hive
步骤二：Hive数据分析
步骤三：Hive、MySQL、Hbase数据互导
步骤四：利用R进行数据可视化分析

大作业报告及数据集

spark大作业