摘要:
1、python 开发之虚拟环境管理:virtualenv、virtualenvwrapper、pycharm https://www.cnblogs.com/chenhuabin/p/10538773.html 阅读全文
摘要:
面试题目的整理 1、python进程之间的通信方式有哪些? 队列: msg_queue (消息队列) 共享队列 管道: pipeline for single duplex (单工管道) pipeline for half duplex (半双工管道) name pipeline (命名管道) So 阅读全文
摘要:
多进程的通信 一、队列(Queue) ''' 一、队列(Queue) Queue.qsize() 返回当前队列包含的消息数量 Queue.empty() 如果队列为空,返回 True,否则返回 False Queue.full() 如果队列满了,返回 True,否则返回 False Queue.ge 阅读全文
摘要:
一、多进程的创建方式 1、通过multiprocessing #encoding='utf-8' from multiprocessing import Process import os import time ''' os.getpid() 获取一个进程的pid 返回当前进程的pid os.ge 阅读全文
摘要:
bee_server.py from sanic import Sanic from sanic import response from urlpool import UrlPool #初始化urlpool,很久需要进行修改 urlpool = UrlPool(__file__) #初始化url 阅读全文
摘要:
一、域名去重1、检测开头:link.startswith('http') txt = "Hello, welcome to my world." x = txt.startswith("Hello") print(x)#如果字符串以指定的值开头,则 startswith() 方法返回 True,否则 阅读全文
摘要:
1、网址:https://gitee.com/pengzhile/ide-eval-resetter 2、点击下载、下载后直接丢进pycharm中。 3、勾选、重启 、查看 阅读全文
摘要:
猿人学第十四题 检测太多了,debugger fiddler替换无法实现、置空也不行。推荐使用hook Function原生的构造 var func_ = Function.prototype.constructor Function.prototype.constructor = function 阅读全文
摘要:
from requests_toolbelt import MultipartEncoderimport requests encoderl = MultipartEncoder( fields = { 'files': ('file_name', open(r"C:\Users\Administr 阅读全文
摘要:
#异步并发爬虫的框架 #网址池:用于过滤重复的网址(因为会出现转发、或者不同页面出现相同商品的链接的情况) #网址池:突然断网等,因为其他原因下载器出现错误。网址池需要记录下来。设置失败三次之后就不再下载,标记为有问题的网址 #多个下载器 这里可以使用异步(协程aiohttp)并发的下载 #HTML 阅读全文