摘要:
题目 使用HADOOP的MAPReduce,实现以下功能: (1)基于大数据计算技术的条件查询:使用mapreduce框架,实现类似Hbase六个字段查询的功能 (2)时段流量统计:以hh:mm:ss格式输入起始时间和结束时间,统计这段时间之内的总搜索次数(就是记录数)、各个查询词搜索次数,各个网站 阅读全文
摘要:
观看视频 hbase2hdfs hdfs2hbase 两个视频都需要看,代码可以先不用懂,但是一定要按着视频敲一遍 如果你没有maven,也是可以打包项目的 可以发现运行mapreduce项目不能在idea上运行必须要打包,对于跟着视频敲还好,但是自己写的时候,难免会碰到问题,所以在能idea上运行 阅读全文
摘要:
因为数据清洗部分需要用到Mapreduce,所以先解决hbase的问题,可以用命令先在hbase存一下简单的数据进行查询,之后只要替换数据就可以实现了原本功能 在看该部分前,确保Hase API看了,懂了一点 题目 使用HBASE的API实现条件查询功能,具体内容如下: (1)根据开始时间和结束时间 阅读全文
摘要:
可以创建一个maven,几行代码就解决了导入依赖,但是我的电脑不知道哪里出现了问题,IDEA重装,jdk重装,maven重装,都无法解决问题,找了3天,还是没有解决问题。最后只能采用手动导入包方法。看到最后项目的成功连接运行,真的留下幸福的“泪水”。 公网和私网问题 如果是外部访问就需要公网,所以在 阅读全文
摘要:
安装ubuntu系统 方案一:虚拟机 安装vmware和Tools 参考链接 新建虚拟机 备注:没有特殊要求,一路默认,系统存放的位置位于非C盘,因为电脑C盘固态不大,非要放C盘会给电脑带来卡顿 注意:如果没有skip会一直卡在这边 ubuntu18准备 更换源 我选择http://mirrors. 阅读全文
摘要:
数据信息部分 数据来源 sohu用户搜索日志数据(一天)链接 系统要求 基于Hadoop,HBASE和SPARK实现,语言使用JAVA SCALA或PYTHON皆可 数据格式 访问时间\t用户ID\t[查询词]\t该URL在返回结果中的排名\t用户点击的顺序号\t用户点击的URL 数据清洗部分 实现 阅读全文