摘要：
Storm 支持一些在线的实时，批量处理分析的流式计算一般使用都是结合消息队列（数据源）和数据库（）来结合使用， 逻辑图：集群物理结构： 关于Storm的一些关键词解释：spout：数据源，消息的发送者bolt： 处理数据，消息的处理者tuple：定义好的一种数据传输结构workers：最大的进程executor：线程task：线程中的实例... 阅读全文
摘要：
1、安装一个zookeeper集群2、上传storm的安装包，解压3、修改配置文件storm.yaml#所使用的zookeeper集群主机storm.zookeeper.servers: - "weekend05" - "weekend06" - "weekend07"#nimbus所在的主机名nimbus.host: "weekend05"supervisor.slots... 阅读全文
摘要：
package cn.itcast.bigdata.hbase;import java.util.ArrayList;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescripto... 阅读全文
摘要：
package cn.itcast.bigdata.hbase;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apach... 阅读全文
摘要：
在hadoop03建立master，。456建立regionservers1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了） 注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_55 /... 阅读全文
摘要：
理解：hive：查询，管理，数据库仓库工具版本：0.12，支持hadoop2.x以上将sql语句翻译成mapreduce的语句并管理一些元数据Hive只在一个节点上安装即可1.上传tar包2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/3.配置mysql metastore（切换到root用户） 配置HIVE_HOME环境变量 rpm -qa | grep m... 阅读全文
摘要：
hive的常用语法：建表，导入数据包括：内表，外表，分区表，追加数据insert overwrite table tab_ip like..partitioned by 分区，分区是作为一个字段可以直接查询shell方式：hive -S -e 'select * from wk110 t_order';set hive.cli.print.header=true;CREATE TABLE page... 阅读全文
摘要：
进入hbase命令行./hbase shell显示hbase中的表list创建user表，包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}向user表中插入信息，row key为rk0001，列族info中添加name列标示符，值为zhangsanput 'u... 阅读全文
摘要：
转载一篇写的很好的centos下安装mysql：原文地址：http://www.cnblogs.com/xiaoluo501395377/archive/2013/04/07/3003278.html 如果要在Linux上做j2ee开发，首先得搭建好j2ee的开发环境，包括了jdk、tomcat、eclipse的安装(这个在之前的一篇随笔中已经有详细讲解了Linux学习之CentOS(七)--Ce... 阅读全文
摘要：
小知识点：half：关机yarn端口：8088删除hdfs目录：hadoop fs -rm -r /wc/outputnamenode两个状态都是standby原因：zookeeper没有比hdfs先启动现在来做一个流量统计的例子：首先数据是这样一张表：见附件统计：（代码）1，flowbean：package cn.itcast.hadoop.mr.flowsum;import java.io.D... 阅读全文