随笔分类 - 杂
摘要：海量数据处理10题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最
阅读全文
摘要：Python描述符 (descriptor) 详解 1、什么是描述符？ python描述符是一个“绑定行为”的对象属性，在描述符协议中，它可以通过方法重写属性的访问。这些方法有 __get__(), __set__(), 和__delete__()。如果这些方法中的任何一个被定义在一个对象中，这个对
阅读全文
摘要：在命令行模式下查看Python帮助文档 dir、help、__doc__ 1、dir函数式可以查看对象的属性，使用方法很简单，举str类型为例，在Python命令窗口输入 dir(str) 即可查看str的属性，如下图所示： 2、如何查看对象某个属性的帮助文档 ？如要查看str的split属性，可以
阅读全文
摘要：import logging from logging import handlers# 日志记录 class Logger(object): level_relations = { 'debug': logging.DEBUG, 'info': logging.INFO, 'warning': l
阅读全文
摘要：Python3的URL编码解码 前言 最近在用python3练习一些爬虫脚本的时候，发现一些url的编码问题，在浏览器提交请求api时，如果url中包含汉子，就会被自动编码掉。呈现的结果是 ==> %xx%xx%xx。如果出现3个百分号为一个原字符则为utf8编码，如果2个百分号则为gb2312编码
阅读全文
摘要：redis由于测试产生了一批垃圾数据,想要批量删除之 默认db0,redis-cli 带参数 -n可以指定数据库,完整命令: redis-cli -h DB_port -a DB_pwd -n DB_idx keys “key_prefix*” | xargs redis-cli -h DB_por
阅读全文
摘要：scrapy异常状态码处理 在setting.py中加入 scrapy 的 state 默认只处理200到300之间 # 403状态的响应不被自动忽略，对403 的响应做个性化处理 HTTPERROR_ALLOWED_CODES = [403] # 遇到错误忽略掉不重新请求，则设成[] RETRY_
阅读全文
摘要：获取两个时间点间的随机时间&时间戳 方案一 # python2 不兼容，python3正常 import datetime,random def randomtimes(start, end, n, frmt="%Y-%m-%d"): stime = datetime.datetime.strpti
阅读全文
摘要：Python保留指定位数的小数 1 ’%.2f’ %f 方法(推荐) f = 1.23456 print('%.4f' % f) print('%.3f' % f) print('%.2f' % f) 结果： 1.2346 1.235 1.23 这个方法会进行四舍五入 2 format函数(推荐)
阅读全文
摘要：python 获取时间范围内日期列表 import datetime def dateRange(beginDate, endDate): dates = [] dt = datetime.datetime.strptime(beginDate, "%Y-%m-%d") date = beginDa
阅读全文
摘要：python 保留两位小数>>> a = 1 >>> b = 3 >>> print(a/b) >>> #方法一： ... print(round(a/b,2)) 0.0 >>> #方法二： ... print(format(float(a)/float(b),'.2f')) 0.33 >>> #方
阅读全文
摘要：# log 数据库连接 class LogMysql(object): conn = None cursor = None def __init__(self): self.conn = pymysql.connect(host='', user='', password='', database=
阅读全文
摘要：python字典转bytes类型字典import base64 import json 1. a={"Vod":{"userData":"{}".format("e42e6dedf7a5a3fd19689aeb74bb1605")}} r=bytes('{}'.format(a),'utf-8')
阅读全文
摘要：Python3 url解码与参数解析 有些子节点名字直接就是编码后的url，就像下面这行一样： url='dubbo%3A%2F%2F10.4.5.3%3A20880%2Fcom.welab.authority.service.AuthorityService%3Fanyhost%3Dtrue%26
阅读全文
摘要：python/django将mysql查询结果转换为字典组 使用python查询mysql数据库的时候，默认查询结果没有返回表字段名称，不方便使用。为了方便使用一般会选择将查询结果加上字段名称以字典组的方式返回查询结果。 实现如下： def dict_fetchall(cursor): "Retur
阅读全文
摘要：Python 如何将字符串转为字典 在工作中遇到一个小问题，需要将一个 python 的字符串转为字典，比如字符串： user_info = '{"name" : "john", "gender" : "male", "age": 28}' 我们想把它转为下面的字典： user_dict = {"n
阅读全文
摘要：import time #把格式化时间转换成时间戳 def str_to_timestamp(str_time=None, format='%Y-%m-%d %H:%M:%S'): if str_time: time_tuple = time.strptime(str_time, format) # 把格式化好的时间转换成元祖 result = tim...
阅读全文
摘要：python 读写 excel 有好多选择，但是，方便操作的库不多，在我尝试了几个库之后，我觉得两个比较方便的库分别是 xlrd/xlwt、openpyxl。 之所以推荐两个库是因为这两个库分别操作的是不同版本的 excel，xlrd 操作的是 xls/xlxs 格式的 excel，而 openpy
阅读全文
摘要：消息队列介绍、RabbitMQ&Redis的重点介绍与简单应用 消息队列介绍、RabbitMQ、Redis 一、什么是消息队列 这个概念我们百度Google能查到一大堆文章，所以我就通俗的讲下消息队列的基本思路。 还记得原来写过Queue的文章，不管是线程queue还是进程queue他都是一种消息队
阅读全文
摘要：用Python一键搭建Http服务器的方法 Python3请看 python -m http.server 8000 & Python2请看 python -m SimpleHTTPServer 8000 & 总之就是一条Python命令就能在当前目录起一个Http服务器，然后就可以下载文件了。嗯，
阅读全文
