今天的工作是把数据的采集和存储打通

把数据的采集和存储打通：

logstash->kafka->flink->hbase

 

直接用django中的数据对接到kafka中，直接对接到kafka中，遇到了各种各样的委托

 

更新kafka遇到的第一个比较大的问题

.KafkaTimeoutError: KafkaTimeoutError: Failed to update metadata after 1.0 secs.

直接用kafka自带的工具操作没问题，操作工具没问题

用这个示例是可以解决的，

https://towardsdatascience.com/kafka-python-explained-in-10-lines-of-code-800e3e07dad1