摘要：
python批量向kafka塞数据 from kafka import KafkaClient from kafka.producer import SimpleProducer from kafka import KafkaProducer def send_data_2_kafka_(topic 阅读全文
摘要：
查看表的字段与含义 select column_name,column_comment from information_schema.`COLUMNS` where table_Schema='log' and table_Name='logdetailsmkmg' 阅读全文
摘要：
# log 数据库连接 class LogMysql(object): conn = None cursor = None def __init__(self): self.conn = pymysql.connect(host='', user='', password='', database= 阅读全文
摘要：
python字典转bytes类型字典import base64 import json 1. a={"Vod":{"userData":"{}".format("e42e6dedf7a5a3fd19689aeb74bb1605")}} r=bytes('{}'.format(a),'utf-8') 阅读全文
摘要：
Python3 url解码与参数解析 有些子节点名字直接就是编码后的url，就像下面这行一样： url='dubbo%3A%2F%2F10.4.5.3%3A20880%2Fcom.welab.authority.service.AuthorityService%3Fanyhost%3Dtrue%26 阅读全文
摘要：
python/django将mysql查询结果转换为字典组 使用python查询mysql数据库的时候，默认查询结果没有返回表字段名称，不方便使用。为了方便使用一般会选择将查询结果加上字段名称以字典组的方式返回查询结果。 实现如下： def dict_fetchall(cursor): "Retur 阅读全文
摘要：
python-kafka之理论篇 kafka系列文章之python-api的使用。 在使用kafka-python时候需要注意，一定要版本兼容，否则在使用生产者会报 无法更新元数据的错误。 在本片测试中java版本为如下，kafka版本为0.10.0，kafka-python版本为1.3.1，目前最 阅读全文
摘要：
kafka生产者和消费者 在使用kafka时，有时候为验证应用程序，需要手动读取消息或者手动生成消息。这个时候可以借助kafka-console-consumer.sh和kafka-console-producer.sh 这两个工具，它们包装了java客户端，让用户不需要编写整个应用程序就可以与ka 阅读全文
摘要：
kafka数据可靠传输 再说复制Kafka 的复制机制和分区的多副本架构是Kafka 可靠性保证的核心。把消息写入多个副本可以使Kafka 在发生崩愤时仍能保证消息的持久性。Kafka 的主题被分为多个分区，分区是基本的数据块。分区存储在单个磁盘上，Kafka 可以保证分区里的事件是有序的，分区可以 阅读全文
摘要：
深入理解kafka 摘自： 《kafka权威指南》 集群间成员关系 Kafka 使用Zoo keeper 来维护集群成员的信息。每个broker 都有一个唯一标识符，这个标识符可以在配置文件里指定，也可以自动生成。在broker 启动的时候，它通过创建临时节点把自己的ID 注册到Zookeeper 阅读全文