11 2019 档案
摘要：python 获取当天和前几天时间数据 import datetime from datetime import datetime, date, timedelta def dayDateRange(): dates = [] for i in range(2, -1, -1): yesterday
阅读全文
摘要：python 获取时间范围内日期列表 import datetime def dateRange(beginDate, endDate): dates = [] dt = datetime.datetime.strptime(beginDate, "%Y-%m-%d") date = beginDa
阅读全文
摘要：conda常用命令 conda 查看 conda 版本号 conda -Vconda –version 环境管理 查看当前有哪些环境 conda env list 或conda info -e 实际执行命令示例:➜ ~ conda env list conda environments: #base
阅读全文
摘要：conda 按照指定源下载python包 换成了国内的pip源就可以正常安装了,我使用的是:pip install xlrd -i http://pypi.douban.com/simple --trusted-host pypi.douban.com,结果:Duang!Duang!Duang~成功
阅读全文
摘要：python 保留两位小数>>> a = 1 >>> b = 3 >>> print(a/b) >>> #方法一： ... print(round(a/b,2)) 0.0 >>> #方法二： ... print(format(float(a)/float(b),'.2f')) 0.33 >>> #方
阅读全文
摘要：python批量向kafka塞数据 from kafka import KafkaClient from kafka.producer import SimpleProducer from kafka import KafkaProducer def send_data_2_kafka_(topic
阅读全文
摘要：查看表的字段与含义 select column_name,column_comment from information_schema.`COLUMNS` where table_Schema='log' and table_Name='logdetailsmkmg'
阅读全文
摘要：# log 数据库连接 class LogMysql(object): conn = None cursor = None def __init__(self): self.conn = pymysql.connect(host='', user='', password='', database=
阅读全文
摘要：python字典转bytes类型字典import base64 import json 1. a={"Vod":{"userData":"{}".format("e42e6dedf7a5a3fd19689aeb74bb1605")}} r=bytes('{}'.format(a),'utf-8')
阅读全文
摘要：Python3 url解码与参数解析 有些子节点名字直接就是编码后的url，就像下面这行一样： url='dubbo%3A%2F%2F10.4.5.3%3A20880%2Fcom.welab.authority.service.AuthorityService%3Fanyhost%3Dtrue%26
阅读全文
摘要：python/django将mysql查询结果转换为字典组 使用python查询mysql数据库的时候，默认查询结果没有返回表字段名称，不方便使用。为了方便使用一般会选择将查询结果加上字段名称以字典组的方式返回查询结果。 实现如下： def dict_fetchall(cursor): "Retur
阅读全文
摘要：python-kafka之理论篇 kafka系列文章之python-api的使用。 在使用kafka-python时候需要注意，一定要版本兼容，否则在使用生产者会报 无法更新元数据的错误。 在本片测试中java版本为如下，kafka版本为0.10.0，kafka-python版本为1.3.1，目前最
阅读全文
摘要：kafka生产者和消费者 在使用kafka时，有时候为验证应用程序，需要手动读取消息或者手动生成消息。这个时候可以借助kafka-console-consumer.sh和kafka-console-producer.sh 这两个工具，它们包装了java客户端，让用户不需要编写整个应用程序就可以与ka
阅读全文
摘要：kafka数据可靠传输 再说复制Kafka 的复制机制和分区的多副本架构是Kafka 可靠性保证的核心。把消息写入多个副本可以使Kafka 在发生崩愤时仍能保证消息的持久性。Kafka 的主题被分为多个分区，分区是基本的数据块。分区存储在单个磁盘上，Kafka 可以保证分区里的事件是有序的，分区可以
阅读全文
摘要：深入理解kafka 摘自： 《kafka权威指南》 集群间成员关系 Kafka 使用Zoo keeper 来维护集群成员的信息。每个broker 都有一个唯一标识符，这个标识符可以在配置文件里指定，也可以自动生成。在broker 启动的时候，它通过创建临时节点把自己的ID 注册到Zookeeper
阅读全文
摘要：kafka-python的API简单介绍 在官方文档详细列出了kafka-python的API接口https://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.html #send方法的详细说明，send用于向主题发送信息sen
阅读全文
摘要：kafka实战教程(python操作kafka)，kafka配置文件详解 应用往Kafka写数据的原因有很多：用户行为分析、日志存储、异步通信等。多样化的使用场景带来了多样化的需求：消息是否能丢失？是否容忍重复？消息的吞吐量？消息的延迟？ kafka介绍 Kafka属于Apache组织，是一个高性能
阅读全文
摘要：# -- coding: UTF-8 import datetime import json import time from kafka import KafkaProducer producer=KafkaProducer(bootstrap_servers='192.168.10.10:909
阅读全文
摘要：python操作kafka 一、什么是kafka kafka特性： (1) 通过磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能. (2) 高吞吐量 ：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息. (3) 支持通过Kafka服务器和消费机集群来
阅读全文
