随笔分类 -  大数据or大数据项目

实验手册——搜狗搜索日志分析系统
摘要:前奏:请提前搭建好你的集群和必要的软件:hadoop + jdk + hive + Sqoop + HBase; 数据(链接是网友的,感谢,感谢,感谢。里面有测试数据):链接:http://pan.baidu.com/s/1dFD7mdr 密码:xwu8 一:数据预处理(Linux 环境): 1:查 阅读全文
posted @ 2017-12-21 18:27 别先生 阅读(5508) 评论(4) 推荐(3) 编辑
网站点击流数据分析项目----之现学现卖
摘要:1:网站点击流数据分析项目推荐书籍: 可以看看百度如何实现这个功能的:https://tongji.baidu.com/web/welcome/login 2:整体技术流程及架构: 2.1 数据处理流程 该项目是一个纯粹的数据分析项目,其整体流程基本上就是依据数据的处理流程进行,依此有以下几个大的步 阅读全文
posted @ 2017-12-17 20:27 别先生 阅读(1960) 评论(0) 推荐(0) 编辑
大数据平台网站日志分析系统
摘要:1:大数据平台网站日志分析系统,项目技术架构图: 2:大数据平台网站日志分析系统,流程图解析,整体流程如下: ETL即hive查询的sql; 但是,由于本案例的前提是处理海量数据,因而,流程中各环节所使用的技术则跟传统BI完全不同: 1) 数据采集:定制开发采集程序,或使用开源框架FLUME 2)  阅读全文
posted @ 2017-12-09 22:52 别先生 阅读(6602) 评论(0) 推荐(2) 编辑
hadoop伪分布式集群搭建与安装(ubuntu系统)
摘要:1:Vmware虚拟软件里面安装好Ubuntu操作系统之后使用ifconfig命令查看一下ip; 2:使用Xsheel软件远程链接自己的虚拟机,方便操作。输入自己ubuntu操作系统的账号密码之后就链接成功了; 3:修改主机的名称vi /etc/hostname和域名和主机映射对应的关系 vi /e 阅读全文
posted @ 2017-06-16 20:12 别先生 阅读(5325) 评论(0) 推荐(2) 编辑
大数据云计算学习路线图(纯属个人看法和观点)
摘要:【ps:以下纯属个人观点和看法,有什么不对的,还请多多指教。】 1:之前发过一个Java攻城狮的学习路线图【ps:挺详细的~~~】:http://www.cnblogs.com/biehongli/p/5754555.html 恰恰是这个Java攻城狮学习路线图使我在学习编程的路上看到了希望,使迷茫 阅读全文
posted @ 2017-03-29 14:32 别先生 阅读(30403) 评论(39) 推荐(10) 编辑