数据清洗——日志
Result文件数据说明：
Ip：106.39.41.166,（城市）
Date：10/Nov/2016:00:01:02 +0800,（日期）
Day：10,（天数）
Traffic: 54 ,（流量）
Type: video,（类型：视频video或文章article）
Id: 8701（视频或者文章的id）
测试要求：
1、 数据清洗：按照进行数据清洗，并将清洗后的数据导入hive数据库中。
两阶段数据清洗：
（1）第一阶段：把需要的信息从原始日志中提取出来
ip: 199.30.25.88
time: 10/Nov/2016:00:01:03 +0800
traffic: 62
文章： article/11325
视频： video/3235
（2）第二阶段：根据提取出来的信息做精细化操作
ip--->城市 city（IP）
date--> time:2016-11-10 00:01:03
day: 10
traffic:62
type:article/video
id:11325
（3）hive数据库表结构:
create table data( ip string, time string , day string, traffic bigint,
type string, id string )
2、数据分析：在HIVE统计下列数据。
（1）统计最受欢迎的视频/文章的Top10访问次数 （video/article）
（2）按照地市统计最受欢迎的Top10课程 （ip）
（3）按照流量统计最受欢迎的Top10课程 （traffic）
3、数据可视化：
将统计结果倒入MySql数据库中，通过图形化展示的方式展现出来。
这是大三的大数据期中考试内容总结一下自己的收获和遇到的问题吧：
1、 数据清洗：按照进行数据清洗，并将清洗后的数据导入hive数据库中。
这部分，分为两部分第一部分：IP地址的精细化操作（将IP地址转为相对应的地址），第二部分：时间的精细化操作（清洗为相对应的格式）
东西太多这部分就整理了，具体的方法大家可以看：IP地址的精细化操作（将IP地址转为相对应的地址） - O_O似曾相识 - 博客园 (cnblogs.com)
2、数据的分析sql语句：日志数据分析和数据的可视化处理 - O_O似曾相识 - 博客园 (cnblogs.com)
3、将数据从hive导入mysql，hive导入mysql - O_O似曾相识 - 博客园 (cnblogs.com)这部分我选择的是第二个方法，第一个方法导入虚拟机的数据库，第二个则是导入到本地。
4、将csv文件导入本地MySQL时遇到问题：解决004--Loading local data is disabled； this must be enabled on both the client and server sides问题及解决 - O_O似曾相识 - 博客园 (cnblogs.com)
5、数据可视化三个表三个不同的图：日志数据分析和数据的可视化处理 - O_O似曾相识 - 博客园 (cnblogs.com)
6、数据可视化时因为数据类型排序无效的问题：sql语句排序无效的问题 - O_O似曾相识 - 博客园 (cnblogs.com)
补充：将txt转化为csv的方法和遇到问题：将txt转化为csv的方法和遇到问题 - O_O似曾相识 - 博客园 (cnblogs.com)
