随笔分类 - 代码
摘要：五 分组策略和并发度 5.1 读取文件案例思考 1）spout数据源：数据库、文件、MQ（比如：Kafka） 2）数据源是数据库：只适合读取数据库的配置文件 3）数据源是文件：只适合测试、讲课用（因为集群是分布式集群） 4）企业产生的log文件处理步骤： （1）读出内容写入MQ （2）Storm再处
阅读全文
摘要：4.1 API简介 4.1.1 Component组件 1）基本接口 （1）IComponent接口 （2）ISpout接口 （3）IRichSpout接口 （4）IStateSpout接口 （5）IRichStateSpout接口 （6）IBolt接口 （7）IRichBolt接口 （8）IBas
阅读全文
摘要：3.1 环境准备 3.1.1 集群规划 hadoop102 hadoop103 hadoop104 zk zk zk storm storm storm 3.1.2 jar包下载 （1）官方网址：http://storm.apache.org/ （2）安装集群步骤： http://storm.apa
阅读全文
摘要：2.1 Storm编程模型 2.1.1 元组（Tuple） 元组（Tuple），是消息传递的基本单元，是一个命名的值列表，元组中的字段可以是任何类型的对象。Storm使用元组作为其数据模型，元组支持所有的基本类型、字符串和字节数组作为字段值，只要实现类型的序列化接口就可以使用该类型的对象。元组本来应
阅读全文
摘要：1.1 离线计算是什么？ 离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示 代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据 1.2 流式计算是什么 流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示 代表技术：
阅读全文
