01 2018 档案
摘要：重定向、feed输出：控制台输出的内容存放到文件 1、重定向 2、feed输出
阅读全文
摘要：一、re的正则方法简介 import re """ 小结： re.match() # 默认从行首开始匹配 re.search() # 从任意位置开始匹配。不局限于行首 re.findall(） # 匹配多次，并返回匹配值的列表 re.split() # 按正则regx分割字串，并返回分割后的字串列表
阅读全文
摘要：原理： 用绝对路径，截断根目录的路径，就得到了相对路径。 代码 方法1：字符串替换（用字符串函数）推荐 方法2：字符串替换（用正则）
阅读全文
摘要：日志模块logging的四大组件： logger: 志类应用程序往往通调用提供api记录志handler: 志信息处理志发送(保存)同目标域filter: 志信息进行滤formatter:志格式化 Logger类：构造使用工厂方法返回一个Logger实例。logging.getLogger([nam
阅读全文
摘要：日志回滚：python 什么是日志回滚？ 答： 将日志信息输出到一个单一的文件中，随着应用程序的持续使用，该日志文件会越来越庞大，进而影响系统的性能。因此，有必要对日志文件按某种条件进行切分，要切分日志文件。 分割日志的触发条件：大小、日期，或者大小加上日期。 说是切分，实际上是，当一个日志文件达到
阅读全文
摘要：参考： http://python.jobbole.com/81666/ https://www.cnblogs.com/rollenholt/p/5392338.html NOSET 0DEBUG 10 INFO 20WARNING 30ERROR 40CRITICAL 50 DEBUG 诊断问题
阅读全文
摘要：https://www.cnblogs.com/wongbingming/p/6848701.html 它通过{}和:来代替%。通过位置 字符串的format函数可以接受不限个参数，位置可以不按顺序，可以不用或者用多次，不过2.6不能为空{}，2.7才可以。通过关键字参数 通过下标 通过对象属性 格
阅读全文
摘要：用Navicat制作ER图及与SQL互相转化 http://wangbaiyuan.cn/sql-and-use-navicat-to-make-er-diagram-and-interactive.html http://blog.csdn.net/clevercode/article/detai
阅读全文
摘要：忽视，避开robots.txt，加一个-e robots=off 用wget避开robots.txt的下载限制 参考网站 http://blog.csdn.net/sdlyhjq/article/details/8596303 http://blog.csdn.net/zhouxinyu1cp/ar
阅读全文
摘要：引用计数，这是 Python 的垃圾回收策略。补充一下。解释器（也就是你说的 Shell）负责跟踪对象的引用计数，垃圾收集器负责释放内存。如何释放？可以通过销毁对象的引用，使引用计数减少至 0。假设 x = 3，以下情况会使 3 这个整型对象的引用计数减少；函数运行结束，所有局部变量都被销毁，对象的
阅读全文
摘要：修改外部参数 python3的做法： python2的做法 利用这一原理，做计数函数。
阅读全文
摘要：python逆向工程：通过代码生成类图 大致过程 现在有一个core包，里面有python的代码。 通过core包，生成python的类图，如下： 实施步骤： 1、首先安装graphviz，一个画图工具，地址为：http://www.graphviz.org/pub/graphviz/stable/
阅读全文
摘要：获取图片的大小（宽高） 输出结果： 理解一下 BytesIO 和StringIO 很多时候，数据读写不一定是文件，也可以在内存中读写。StringIO顾名思义就是在内存中读写str。BytesIO 就是在内存中读写bytes类型的二进制数据 例子中如果使用StringIO 即f = StringIO
阅读全文
摘要：目录 from urllib.parse import urlparse, quote, unquote, urlencode1、解析url的组成成分：urlparse(url)2、url的base64编解码：quote(url)、unquote(url)3、字典变成一个字符串=&连接，并且被bas
阅读全文
摘要：from .conf import HOST, PORT, POOL_NAME import redis redis_pool = redis.ConnectionPool(host=HOST, port=PORT, max_connections=20) class RedisOperator(object): """Redis 操作类""" def __init_...
阅读全文
摘要：python中实现mysql连接池
阅读全文
摘要：进程少时，手动单个创建进程； 进程多时，用进程池创建进程。 用进程池创建子进程 from multiprocessing import Pool import os, time, random def worker(msg): t_start = time.time() print("%s开始执行,
阅读全文
摘要：多线程 运行结果 Process语法结构如下： Process([group [, target [, name [, args [, kwargs]]]]]) target：表示这个进程实例所调用对象； args：表示调用对象的位置参数元组； kwargs：表示调用对象的关键字参数字典； name
阅读全文
摘要：此工具用于抓取302等看不到的包。 设置： 步骤一 步骤二 重启fiddler软件，设置才有效。 设置谷歌浏览器，使浏览器的访问都经过fiddler。（fiddler就成了代理了）设置如下 隐藏图片的抓取过程
阅读全文
摘要：#coding:utf-8 import requests # url = 'http://www.baidu.com' # response = requests.get(url) # print (response.cookies) # print (type(response.cookies)) # 将cookjar转换成字典格式的cookies # dict_cookies = ...
阅读全文
摘要：（一）如何带cookies请求 方法一：headers中带cookies 方法二：get方法参数中带cookies （二）session的状态保持。 有了session后，第二次请求是，就不用再传cookies、headers了。
阅读全文
摘要：带headers的请求 带get传参的请求 get带有代理的请求：
阅读全文
摘要：现在新建*.py文件试试效果
阅读全文
摘要：pipelines.py settings.py
阅读全文
摘要：spider爬虫，适合meta传参的爬虫（列表页，详情页都有数据要爬取的时候） crawlspider爬虫，适合不用meta传参的爬虫 scrapy genspider -t crawl it it.com 链接提取器的使用 scrapy shell http://hr.tencent.com/po
阅读全文
摘要：scrapy 如何发送post请求。代码如上。 方法二：针对从首页重定向到登录页面的post登录
阅读全文
摘要：私有化 xx: 公有变量 _x 单前置下划线，对模块中的变量、函数、类进行私有化。类在使用from xxx import *时都不会被导入，但在模块内，可以访问。（注意：如果在XXX模块中，__all__=[……, " _x ", ……]中有但前置下划线变量、函数，则没有私有化，*号导入也可使用）
阅读全文
摘要：property属性：自动调用get、set方法 每次调用隐藏的数据，都用get和set方法写的字符太长，就用property解决。 方法一：使用property()函数升级get、set方法 源代码： class Money(object): def __init__(self): self.__
阅读全文
摘要：https://www.cnblogs.com/yyds/p/6901864.html 日志模块的简单使用 python 获取当前调用函数名等log信息
阅读全文
摘要：方法一：（推荐） 方法二：codecs http://blog.csdn.net/mbugatti/article/details/53925236
阅读全文
摘要：自动化工具 一次性从git远程仓库中克隆到本地。
阅读全文
摘要：返回随机数：整数、浮点数 # -*- coding: utf-8 -*- import random # 产生0-1之间的浮点数 random.random() # 产生0-12之间的浮点数 random.random() * 12 # 返回指定范围的随机整数：不包含60 random.randra
阅读全文
摘要：python实现下载进度条 案例2 延伸：正在加载......
阅读全文
摘要：os模块的使用 https://www.cnblogs.com/juandx/p/4962089.html 当前文件的名称：os.path.basename(__file__) 注意：新建和关闭文件，可以直接用，无需os模块 python中对文件、文件夹（文件操作函数）的操作需要涉及到os模块和sh
阅读全文
摘要：方法1: 读取文件中的json字符串， 再用json.loads转为python字典 方法2： 直接用文件游标f，将json字符串连同读取和转成python字典一步完成。此时用的是josn.load(f) 结论： json模块中的loads和load的区别是： loads是将f游标中的字符串先读取出
阅读全文
摘要：+++++++++++++++++++++++++++++ python执行shell命令1 os.system （只有这个方法是边执行边输出，其他方法是最后一次性输出） 可以返回运行shell命令状态，同时会在终端输出运行结果 例如 ipython中运行如下命令，返回运行状态status os.s
阅读全文
摘要：python格式化输出，format 它通过{}和:来代替%。通过位置 字符串的format函数可以接受不限个参数，位置可以不按顺序，可以不用或者用多次，不过2.6不能为空{}，2.7才可以。通过关键字参数 通过下标 通过对象属性 格式限定符它有着丰富的的“格式限定符”（语法是{}中带:号），比如：
阅读全文
摘要：下载mongodb 启动mongodb服务 安装python包 python操作mongodb
阅读全文
摘要：直接上代码：（带认证密码的redis连接） # 1、带认证密码。普通方式连接 import redis HOST = '192.168.1.123' PORT = '6379' POOL_NAME = 'redis_pool' PASSWORD = "123456" r = redis.Strict
阅读全文
摘要：Python Imaging Library（PIL） Home：http://www.pythonware.com/products/pil/ Links：Wikipedia 这是一个很有名气的 Python 图像处理库，支持常见图像文件格式（BMP、JPG、GIF、PNG ...）。 它可以对图
阅读全文
摘要：import pymysql # 连接数据库 connect = pymysql.Connect( host='localhost', port=3306, user='root', passwd='root', db='python3', charset='utf8' ) # 获取游标 cursor = connect.cursor() # ...
阅读全文
