随笔分类 - Hadoop
Hadoop
摘要：需求：使用SparkStreaming，并且结合Kafka，获取实时道路交通拥堵情况信息。 目的： 对监控点平均车速进行监控，可以实时获取交通拥堵情况信息。相关部门可以对交通拥堵情况采取措施。 e.g.1.通过广播方式，让司机改道。 2.通过实时交通拥堵情况数据，反映在一些APP上面，形成实时交通拥堵情况地图，方便用户查询。
阅读全文
摘要：Hive+Sqoop+Mysql整合
在本文中，LZ随意想到了一个场景：
车，道路，监控，摄像头
阅读全文
摘要：crontab - 定时任务
我的操作系统版本是CentOS-6
1.查看是否安装
阅读全文
摘要：Hive与Hbase整合
1.文档
Hive HBase Integration
阅读全文
摘要：Sqoop
本文所使用的Sqoop版本为1.4.6
1.官网
阅读全文
摘要：Flume+Kafka+Storm+Hbase+HDSF+Poi整合
需求：
针对一个网站，我们需要根据用户的行为记录日志信息，分析对我们有用的数据。
阅读全文
摘要：Flume+Kafka+Storm整合
1. 需求：
有一个客户端Client可以产生日志信息，我们需要通过Flume获取日志信息，再把该日志信息放入到Kafka的一个Topic：flume-to-kafka
阅读全文
摘要：本文主要讲elasticsearch-2.2.1的安装过程。
准备工作：
阅读全文
摘要：本文是对Hadoop2.2.0版本的MapReduce进行详细讲解。请大家要注意版本，因为Hadoop的不同版本，源码可能是不同的。
以下是本文的大纲：
阅读全文
摘要：Hbase提供了丰富的Java API，以及线程池操作，下面我用线程池来展示一下使用Java API操作Hbase。
项目结构如下：
阅读全文
摘要：在安装和测试HBase之前，我们有必要先了解一下HBase是什么
我们可以通过下面的资料对其有一定的了解：
HBase 官方文档中文版
HBase 深入浅出
我想把我知道的分享给大家，方便大家交流。
阅读全文
摘要：在安装和测试hive之前，我们需要把Hadoop的所有服务启动
在安装Hive之前，我们需要安装mysql数据库
阅读全文
摘要：在查询了很多资料以后，发现国内外没有一篇关于hadoop2集群环境搭建的详细步骤的文章。
所以，我想把我知道的分享给大家，方便大家交流。
阅读全文
