大数据应用技术课程实践--选题与实践方案
2020-06-23 20:07 广商吴彦祖 阅读(140) 评论(0) 编辑 收藏 举报一、选题与意义
1.Hadoop平台应用
2.Kaggle分析数据项目
简要说明理由与意义。
选题： Hadoop 平台应用
- 网站用户购物行为分析
- 官网：http://dblab.xmu.edu.cn/post/7499/
理由：感兴趣
意义：可以对用户购物行为进行分析
二、实践方案
个人电脑安装实验环境。
三、实践任务分解
根据所选的题目，明确实验步骤，分解任务到每天。
- 安装Linux操作系统
- 安装关系型数据库MySQL
- 安装大数据处理框架Hadoop
- 安装列族数据库HBase
- 安装数据仓库Hive
- 安装Sqoop
- 安装R
- 安装Eclipse
- 对文本文件形式的原始数据集进行预处理
- 把文本文件的数据集导入到数据仓库Hive中
- 对数据仓库Hive中的数据进行查询分析
- 使用Sqoop将数据从Hive导入MySQL
- 使用Sqoop将数据从MySQL导入HBase
- 使用HBase Java API把数据从本地导入到HBase中
- 使用R对MySQL中的数据进行可视化分析
四、实践计划
按任务分解撰写计划表，每天按计划表开展工作。
第天根据实际情况更新计划表，有必要时调整。
1.
- 网站用户购物行为分析
- 官网：http://dblab.xmu.edu.cn/post/7499/
- 淘宝双11数据分析与预测
- 官网：http://dblab.xmu.edu.cn/post/8116/
- 电信用户行为分析
- http://dblab.xmu.edu.cn/post/useranalysis/
大数据平台安装软件：
链接：https://pan.baidu.com/s/1lZM6BkZ6XoRE3uwepsQ_5A
提取码：ao1m
虚拟机镜像文件:
链接：https://pan.baidu.com/s/1e0qak_9Uymn_R1HmSu5ZLw
提取码：q0lt
2.
https://www.kaggle.com/competitions
说明：
- 个人项目，不要求组队，确实需要组队的说明理由。
- 边操作边记录；
- 每天完成当天文档；
- 最后综合成课程实践报告。
