摘要: 1、python 开发之虚拟环境管理:virtualenv、virtualenvwrapper、pycharm https://www.cnblogs.com/chenhuabin/p/10538773.html 阅读全文
posted @ 2021-10-29 15:31 山水无期 阅读(36) 评论(0) 推荐(0) 编辑
摘要: 面试题目的整理 1、python进程之间的通信方式有哪些? 队列: msg_queue (消息队列) 共享队列 管道: pipeline for single duplex (单工管道) pipeline for half duplex (半双工管道) name pipeline (命名管道) So 阅读全文
posted @ 2021-10-21 01:49 山水无期 阅读(31) 评论(0) 推荐(0) 编辑
摘要: 多进程的通信 一、队列(Queue) ''' 一、队列(Queue) Queue.qsize() 返回当前队列包含的消息数量 Queue.empty() 如果队列为空,返回 True,否则返回 False Queue.full() 如果队列满了,返回 True,否则返回 False Queue.ge 阅读全文
posted @ 2021-10-21 01:48 山水无期 阅读(360) 评论(0) 推荐(0) 编辑
摘要: 一、多进程的创建方式 1、通过multiprocessing #encoding='utf-8' from multiprocessing import Process import os import time ''' os.getpid() 获取一个进程的pid 返回当前进程的pid os.ge 阅读全文
posted @ 2021-10-20 02:03 山水无期 阅读(492) 评论(0) 推荐(0) 编辑
摘要: bee_server.py from sanic import Sanic from sanic import response from urlpool import UrlPool #初始化urlpool,很久需要进行修改 urlpool = UrlPool(__file__) #初始化url 阅读全文
posted @ 2021-10-18 16:32 山水无期 阅读(130) 评论(0) 推荐(0) 编辑
摘要: 一、域名去重1、检测开头:link.startswith('http') txt = "Hello, welcome to my world." x = txt.startswith("Hello") print(x)#如果字符串以指定的值开头,则 startswith() 方法返回 True,否则 阅读全文
posted @ 2021-10-12 21:16 山水无期 阅读(189) 评论(0) 推荐(0) 编辑
摘要: 1、网址:https://gitee.com/pengzhile/ide-eval-resetter 2、点击下载、下载后直接丢进pycharm中。 3、勾选、重启 、查看 阅读全文
posted @ 2021-10-08 09:24 山水无期 阅读(3140) 评论(1) 推荐(0) 编辑
摘要: 猿人学第十四题 检测太多了,debugger fiddler替换无法实现、置空也不行。推荐使用hook Function原生的构造 var func_ = Function.prototype.constructor Function.prototype.constructor = function 阅读全文
posted @ 2021-10-07 19:55 山水无期 阅读(635) 评论(0) 推荐(0) 编辑
摘要: from requests_toolbelt import MultipartEncoderimport requests encoderl = MultipartEncoder( fields = { 'files': ('file_name', open(r"C:\Users\Administr 阅读全文
posted @ 2021-10-07 17:29 山水无期 阅读(1330) 评论(0) 推荐(0) 编辑
摘要: #异步并发爬虫的框架 #网址池:用于过滤重复的网址(因为会出现转发、或者不同页面出现相同商品的链接的情况) #网址池:突然断网等,因为其他原因下载器出现错误。网址池需要记录下来。设置失败三次之后就不再下载,标记为有问题的网址 #多个下载器 这里可以使用异步(协程aiohttp)并发的下载 #HTML 阅读全文
posted @ 2021-10-06 01:28 山水无期 阅读(49) 评论(0) 推荐(0) 编辑