Apache Avro & Avro Schema简介
为什么需要schema registry？
首先我们知道:
- Kafka将字节作为输入并发布
- 没有数据验证
但是：
- 如果Producer发送了bad data怎么办？
- 如果字段被重命名怎么办?
- 如果数据类型改变了怎么办？
这些情况都会导致consumer break
所以：
- 我们需要数据能够自我描述
- 我们需要能够在不破坏下游消费者的情况下演化数据
- 能够拒绝坏数据
为什么不在kafka broker收到消息时验证消息，而是使用schema registry？
由下面两幅图可以看到，schema registry是独立于kafka的一个组件。
Kafka Core：
Confluent Components -Schema Registry：
为什么schema registry不集成在kafka broker，因为这样会打破kafka一些优秀的特性:
- Kafka不解析或读取你的数据(没有使用CPU)
- Kafka将字节作为输入，而不需要事件将它们加载到内存中(称为零拷贝) 。什么是零拷贝，移步至https://www.cnblogs.com/fangjb/p/13271886.html
- 就Kafka而言，它甚至不知道你的数据是否是整数或是字符串。
所以：
- Schema Registry需要是独立的组件
- 生产者和消费者需要能够与之对话
- 必须商定通用的数据格式
- 它需要支持schema
- 它需要支持进化
- 它需要是轻量级的
Solution:
Confluent Schema Registry
Apache Avro as the data format
Apache Avro& Avro Schema介绍
- Apache Avro是一个数据序列化系统。
- 可以将Avro看作是JSON附带一个schema
- Avro schema使用Json来定义
- Avro依赖于schema
Avro优点：
1.丰富的数据结构
2.使用快速的压缩二进制数据格式
3.schema随数据一起出现
4.schema可以以安全的方式随时间进化(schema evolution)
5. Document嵌入到schema中
Avro缺点：
1.某些语言对Avro的支持可能缺乏
2.不使用avro工具就不能“打印”数据(因为压缩了和序列化)
数据类型
Schema 定义了基本数据类型和复杂数据类型，其中复杂数据类型包含不同属性。通过各种数据类型用户可以自定义丰富的数据结构
基本类型：
|
类型 |
含义 |
|
null |
没有值 |
|
boolean |
布尔值 |
|
int |
32位有符号整数 |
|
long |
64位有符号整数 |
|
float |
单精度（32位）的IEEE 754浮点数 |
|
double |
双精度（64位）的IEEE 754浮点数 |
|
bytes |
8位无符号字节序列 |
|
string |
字符串 |
复杂类型
Avro提供了6种复杂类型。分别是Record，Enum，Array，Map，Union和Fixed。
Record类型：
Record类型使用的类型名字是 “record”，还支持其它属性的设置：
- name(必填)：record类型的名字
- namespace：命名空间(可选)，相当于java中的包名
- doc：这个类型的文档说明(可选)
- aliases：record类型的别名，是个字符串数组(可选)
- fields(必填)：record类型中的字段，是个对象数组。每个字段需要以下属性：
- name(必填)：字段名字
- doc：字段说明文档(可选)
- type(必填)：一个schema的json对象或者一个类型名字
- default：默认值(可选)
- order：排序(可选)，只有3个值ascending(默认)，descending或ignore
- aliases：别名，字符串数组(可选)
一个record例子：
{ "type": "record", "namespace": "com.aaa", "name": "Employee", "fields": [ { "name": "id", "type": "string"}, { "name": "first_name", "type": "string", "default": ""}, { "name": "last_name", "type": "string", "default":""} ] }
Enum
枚举类型的类型名字是”enum”，还支持其它属性的设置：
- name：枚举类型的名字(必填)
- namespace：命名空间(可选)
- aliases：字符串数组，别名(可选)
- doc：说明文档(可选)
- symbols：字符串数组，所有的枚举值(必填)，不允许重复数据。
一个枚举例子：
{ "type": "enum", "name": "customer_status", "symbols": [ "BRONZE", "SILVER", "GOLD" ] }
Array
数组类型的类型名字是”array”并且只支持一个属性：
items：数组元素的schema
一个数组例子：
{ "name": "email", "type": "array", "items": "string" }
Map
Map是一种定义keys和values列表的方法，其中keys是字符串.
Example: secrets questions
- “What’s your favourite color?”: “green”
- “Where were you born?”: “Tapei”
- “Who you love most?”: “My wife”
Map类型的类型名字是”map”并且只支持一个属性：
values：map值的schema
Map的key必须是字符串。
一个Map例子：
{ "name": "secrets", "type": "map", "values": "long" }
Union
组合类型，表示各种类型的组合，使用数组进行组合。比如[“null”, “string”]表示类型可以为null或者string。
组合类型的默认值是组合类型的第一个元素，因此如果一个组合类型包括null类型，那么null类型一般都会放在第一个位置，这样子的话这个组合类型的默认值就是null。
组合类型中不允许同一种类型的元素的个数不会超过1个，除了record，fixed和enum。比如组合类中有2个array类型或者2个map类型，这是不允许的。
组合类型不允许嵌套组合类型
