Kafka学习(一)

官网 kafka.apache.org

集群部署

消息中间键  --> 分布式流式平台 Kafka Streaming

Flume: 1个进程包含三个角色
        source channle sink
Kakfa: 每个进程对应一个角色
        producer broker consumer
        Flume --> Kafka --> Spark Streaming/Fink (场景)
        
Kafka部署的进程叫 broker

使用方向:
1. 消息中间件
2. 流式计算
3. 存储 分布式 副本 
Kafka® is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fast, and runs in production in thousands of companies.

版本选择:
0.10.0.1
1. CDH-5.12.0(实际使用)   本身学习(CDH-5.7.0)   集群用cdh版本
    选择相近的chd版的kafka

2. Spark Streming官网     
    Kafka+Streaming    spark-streaming-kafka-0-10

CDK:  clouder distributed kakfa
   

 base_version+cloudera_version+patch_level



http://archive.cloudera.com/kafka/parcels/2.2.0/KAFKA-2.2.0-1.2.2.0.p0.68-el7.parcel

CDH:(实际使用) kafka_2.11-0.10.2-kafka-2.2.0.jar kafka_2.11: scala版本 代码开发选择(2.11.8) 0.10.2: Apache kafka版本 小版本选择 2.2.0: CDK 版本

生产环境版本,实际开发版本,要对应,因为有些api不一样 KAFKA-2.2.0-1.2.2.0.p0.68-el7.parcel KAFKA-2.2.0-1.2.2.0.p0.68-el7.parcel.sha1

Apache版本:(学习用)

CDH在部署过程中: HDFS YARN ZK Hive HBase Spark(1.6.x) 额外单独部署,自定义parcel(包裹): kafka spark2

kafka 使用scala语言编写的

1. 主题: topic

生产业务:
oms订单系统: mysql-->flume-->kafka(omstopic)-->SparkStreaming
wms仓库系统: mysql-->flume-->kafka(wmstopic)-->SparkStreaming
mkdir omstopic文件夹  (不同业务系统的数据,放在不同文件夹)
mkdir wmstopic文件夹

alltopic文件夹(最好分开业务系统)

一般根据上游或下游业务系统来划分

kafka创建主题: 一般根据生产业务数据处理来划分  上游+数据处理来划分
最终落在磁盘上面就是创建文件夹(Linux文件夹)

2. 分区

omstopic 有3个分区  下标是
100条数据
        40        p0 omstopic_0
        20        p1 omstopic_1
        40        p2 omstopic_2

3. 副本

omstopic_0  omstopic_0  omstopic_0
omstopic_1  omstopic_1  omstopic_1 
omstopic_2  omstopic_2  omstopic_2 

4. offset 从0开始 (这个文件在磁盘上的位置)

log文件 位置下标

mysql: (主键)
        PK VALUE
        1   aaa
        2   bbb
        3   ccc
        4   ddd

5.全局有序有序?

60%的公司,都是log日志, 无序的状态
         如果有序,处理方式和mysql处理方式一致
40%的公司,都是业务数据,mysql,有序数据. 
淘宝购物车, insert(添加一双鞋) , update1(鞋子), update2(口红),update3,update4, delete


Kafka数据的文件是Linux磁盘文件  是有序状态,也就是分区内有序
 追加模式,效率最高; 如何insert ,还要检索

重点:
1. 一个分区
2. SparkStreaming程序做排序 分组排序,然后保证全局有序, 代码多,性能差
3. producer api(key-value)