摘要：
一、概述 1.python是什么 Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。 Python 是一种解释型语言： 这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。 因为Python是解释型语言，你的代码在执行时会一行一行地翻译成CPU能理解的机器码 阅读全文
摘要：
一、实时业务指标分析 1.业务 业务： 订单系统 >MQ >Kakfa >Storm 数据：订单编号、订单时间、支付编号、支付时间、商品编号、商家名称、商品价格、优惠价格、支付金额 统计双十一当前的订单金额，订单数量，订单人数 订单金额（整个网站，各个业务线，各个品类，各个店铺，各个品牌，每个商品 阅读全文
摘要：
一、kafka文件存储机制 1.topic存储 在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1。 以上面创建的t 阅读全文
摘要：
一、kafka常用命令 1.创建topic bin/kafka-topics.sh --create --topic topic_1 --partitions 4 --replication-factor 2 --zookeeper mini1:2181 // 如果配置了PATH可以省略相关命令路径 阅读全文
摘要：
一、概述 1.kafka是什么 根据标题可以有个概念：kafka是storm的上游数据源之一，也是一对经典的组合，就像郭德纲和于谦 根据官网：http://kafka.apache.org/intro 的解释呢，是这样的： Apache Kafka® is a distributed streami 阅读全文
摘要：
一、集群提交任务流程分析 1.集群提交操作 参考：https://www.jianshu.com/p/6783f1ec2da0 2.任务分配与启动流程 参考：https://www.cnblogs.com/heitaok/p/5531535.html 二、相关目录树 1.组件本地目录树 2.stor 阅读全文
摘要：
一、常用命令 1.提交命令 2.杀死任务 3.停用任务 4.启用任务 5.重新部署任务 更多命令，参考：http://blog.csdn.net/u010003835/article/details/52123807 完整命令，参考官网文档：http://storm.apache.org/relea 阅读全文
摘要：
一、概述 今天起就正式进入了流式计算。这里先解释一下流式计算的概念 离线计算 离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示 代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、***任务调度 1，hivesql 2、调度 阅读全文
摘要：
一、功能简述 1.笔记本管理（增删改） 2.笔记管理 3.共享笔记查询功能 4.回收站 效果预览： 二、库表设计 1.设计理念 将云笔记信息分别存储在redis和hbase中。 redis（缓存）：存储每个用户的笔记本信息 hbase（持久层）：存储用户的笔记本信息、笔记本下的笔记列表、笔记具体信息 阅读全文
摘要：
一、基本原理 1.hbase的位置 上图描述了Hadoop 2.0生态系统中的各层结构。其中HBase位于结构化存储层，HDFS为HBase提供了高可靠性的底层存储支持， MapReduce为HBase提供了高性能的批处理能力，Zookeeper为HBase提供了稳定服务和failover机制，Pi 阅读全文