大数据应用技术课程实践--选题与实践方案
一、选题与意义
1.Hadoop平台应用
2.Kaggle分析数据项目
简要说明理由与意义。
我选择的题目是Kaggle分析数据项目——通过推文预测灾难是否发生。首先是因为太久没接触过Hadoop平台了,而且不知道安装的时候还会不会出现一些难以解决的问题,再加上这学期学习了机器学习这门课程,所需的环境已经搭配好,操作也熟悉一些。
二、实践方案
简要说明理由。
Twitter已成为紧急时刻的重要沟通渠道。
智能手机无处不在,使人们可以宣布他们正在实时观察的紧急情况。因此,越来越多的机构(例如救灾组织和新闻机构)对以编程方式监视Twitter感兴趣。
但是,并不总是很清楚一个人的话是否真的宣告了灾难。
有一些隐喻的语言,人们能够明白这是否属于灾难,但机器并不知道。
所以需要进行练习,来判断机器是否能够预测推文中的灾难信息,从而可以更好的帮助救灾组织。
三、实践任务分解
根据所选的题目,明确实验步骤,分解任务到每天。
1.确认选题,下载数据
2.数据导入,分析和处理
3.创建数据分析模型
4.模型预测
四、实践计划
按任务分解撰写计划表,每天按计划表开展工作。
第天根据实际情况更新计划表,有必要时调整。
1.
- 网站用户购物行为分析
- 官网:http://dblab.xmu.edu.cn/post/7499/
- 淘宝双11数据分析与预测
- 官网:http://dblab.xmu.edu.cn/post/8116/
- 电信用户行为分析
- http://dblab.xmu.edu.cn/post/useranalysis/
大数据平台安装软件:
链接:https://pan.baidu.com/s/1lZM6BkZ6XoRE3uwepsQ_5A
提取码:ao1m
虚拟机镜像文件:
链接:https://pan.baidu.com/s/1e0qak_9Uymn_R1HmSu5ZLw
提取码:q0lt
2.
https://www.kaggle.com/competitions
说明:
- 个人项目,不要求组队,确实需要组队的说明理由。
- 边操作边记录;
- 每天完成当天文档;
- 最后综合成课程实践报告。