网络遥控器数据统计0526
一、统计脚本及代码
1 #!/bin/sh 2 3 root_dir=`pwd` 4 source_file="$root_dir"/operate0526.txt 5 single_file="$root_dir"/single0526.txt 6 result_file="$root_dir"/result.txt 7 8 rm -rf $single_file 9 rm -rf $result_file 10 11 ###统计出现次数最多的用户数### 12 user_id=`cat $source_file | cut -f 5 | sort | uniq -c | sort -n -r | head -n 1 | awk -F' ' '{print $2}'` 13 14 echo "操作行为最多的用户">>$result_file 15 echo $user_id >> $result_file 16 ###蒋登录次数最多的用户信息单独提取出来### 17 cat $source_file | grep $user_id | awk -F'\t' '{print $6"\t"$7"\t"$8"\t"$9} ' > $single_file 18 19 ###统计用户各种行为分布### 20 echo "\n统计用户行为分布" >> $result_file 21 cat $single_file | awk -F'\t' '{print $1}' | sort | uniq -c | sort -r -n > >$result_file 22 23 ###统计用户观看频道的排行### 24 echo "\n统计用户观看频道排行" >>$result_file 25 cat $single_file | grep '频道:' | grep '观看'| awk -F'频道:' '{print $2}' | awk -F',' '{print $1}' | sort | uniq -c >> $result_file 26 27 ###统计用户观看节目排行### 28 echo "\n统计用户观看节目排行">>$result_file 29 cat $single_file | grep '观看'| grep '节目'| awk -F'节目名称:' '{print $2}' | sort |uniq -c | sort -r -n >> $result_file 30 31 ###统计用户收藏频道列表### 32 echo "\n统计用户收藏频道列表">>$result_file 33 cat $single_file | grep '收藏'| awk -F'频道:' '{print $2}' | awk -F',' '{pr int $1}' | sort | uniq >> $result_file 34 35 ###统计用户收藏节目列表### 36 echo "\n统计用户收藏节目列表">>$result_file 37 cat $single_file | grep '收藏' | grep '节目名称:' | awk -F'节目名称:' '{pri nt $2}' |sort | uniq >> $result_file 38 39 ###统计用户预订节目列表### 40 echo "\n统计用户预订节目列表">>$result_file 41 cat $single_file | grep '预订' | awk -F'节目名称:' '{print $2}' | sort | un iq >> $result_file 42 43 ###用户搜索关键词排行### 44 echo "\n统计用户搜索关键词排行">>$result_file 45 cat $single_file | grep '搜索' | awk -F'\t' '{print $NF}' | sort | uniq -c | sort -r -n >> $result_file 46 47 ###用户分享节目排行### 48 echo "\n统计用户分享节目排行">>$result_file 49 cat $single_file | grep '分享' | awk -F'节目名称:' '{print $2}' | sort | u niq -c | sort -r -n >> $result_file 50 51 dos2unix $result_file
二,选取行为操作最多的用户统计得到的原始数据
操作行为最多的用户 A0000040B0546E 统计用户行为分布 1405 按键 101 学习 84 观看 37 搜索 22 节目 21 收藏频道 21 刷新 9 收藏 7 分享节目 6 收藏节目 4 预订 统计用户观看频道排行 26 CCTV-1 1 CCTV-10(科教) 3 CCTV-1(综合) 3 CCTV-2(财经) 5 CCTV-3(综艺) 10 CCTV-4中文国际(亚) 20 CCTV-6(电影) 3 CCTV-8(电视剧) 1 南方卫视 11 山东卫视 1 珠江卫视 统计用户观看节目排行 2 今日说法 1 自然传奇周末系列 1 焦点访谈 统计用户收藏频道列表 CCTV-1 CCTV-10(科教) CCTV-11(戏曲) CCTV-13(新闻) CCTV-14(少儿) CCTV-15(音乐) CCTV-1(综合) CCTV-2(财经) CCTV-3(综艺) CCTV-4中文国际(亚) CCTV-6(电影) CCTV-7(军事农业) CCTV-8(电视剧) CCTV-E 中国教育1套 兵团卫视 南方卫视 统计用户收藏节目列表 今日说法 动物世界 天天饮食 生活早参考 经济信息联播 自然传奇周末系列 统计用户预订节目列表 为了你 动物世界 自然传奇周末系列 统计用户搜索关键词排行 6 屌丝男士 4 龙门镖局 4 电影 4 小爸爸 4 天天向上 3 湖南卫视 2 那英 2 追鱼传奇 2 花非花雾非雾 2 新闻联播 2 新闻 2 天天有喜 统计用户分享节目排行 3 第一动画乐园(上午版) 2 天天饮食 1 动物世界 1 今日说法
三、数据结果可视化
3.1 用户行为分布(按键的行为次数最多,为1405次)
3.2用户观看频道排行
3.3 用户收看节目排行
3.4 用户收藏频道集合
3.4 用户收藏节目集合
3.5 用户搜索关键词
(词的大小代表的是热度,其中很多是app提示词云提示的那些,这部分其实可以考虑改为可动态改变的)
3.6用户分享节目分布
3.7用户预订节目列表