侠客云

摘要： 执行JS的类库：execjs，PyV8，selenium，node execjs是一个比较好用且容易上手的类库（支持py2，与py3），支持 JS runtime。 1.安装： pip install PyExecJS 2.运行环境 execjs会自动使用当前电脑上的运行时环境（建议用nodejs， 阅读全文

摘要： dic={'hqo3r': '迎', 'hq6ic': '名', 'hq7yw': '头', 'hq1lk': '新', 'hqpe1': '肇'} content=''' 总体hqo3r则，错的注(hq6ic)释不如(hq6ic)没有注释。所以当一段代码(hq1lk)发生变化时，第一件(hq1lk 阅读全文

摘要： asyncio官网 https://docs.python.org/zh-cn/3/library/asyncio-task.html 下面为伪代码： import aiohttp import asyncio from bs4 import BeautifulSoup import pandas 阅读全文

摘要： 分布式任务队列Celery入门与进阶 一、简介 Celery是由Python开发、简单、灵活、可靠的分布式任务队列，其本质是生产者消费者模型，生产者发送任务到消息队列，消费者负责处理任务。Celery侧重于实时操作，但对调度支持也很好，其每天可以处理数以百万计的任务。特点： 简单：熟悉celery的 阅读全文

摘要： 1. 开启安卓模拟器 2. 查看进程，MEmuHeadless.exe的进行程号， 然后在cmd中输入 netstat -ano|findstr "16116" 3. 到 airtest软件中连接安卓模拟器 效果： 阅读全文

摘要： 1. 在项目文件夹中新建一个commands文件夹 2. 在command的文件夹中新建一个文件 crawlall.py 3.在crawlall.py 中写一个command类，该类继承 scrapy.commands from scrapy.commands import ScrapyComman 阅读全文

摘要： 安装： pip install scrapy_proxies github: https://github.com/aivarsk/scrapy-proxies scrapy爬虫配置文件settings.py： # Retry many times since proxies often fail 阅读全文

摘要： 1.Charles安装： 1. windows 安装证书 2. 3. 4. 5 pc端设置： Android 手机上设置代理： 先查看pc 端的ip: 2.模拟器进入wifi,按住wifi 3. 模拟器设置代理 下载证书： 用手机浏览器访问： chs.pro/ssl 2. mitmproxy安装 手 阅读全文

摘要： 1 .先安装 Anaconda3 2.安装好后： cd 到想要打开jupter notebook的目录，然后在目录下执行 jupyter notebook 3.浏览器自动打开的页面： 4. 基本快捷键 1. 按a 表示 下方插入 cell 2. 按 b 表示下方插入cell shift+tab 查看 阅读全文

摘要： 1. 线程池 的应用 from multiprocessing.dummy import Pool import requests from lxml import etree url="https://sz.lianjia.com/ershoufang/co32/" # url="https:// 阅读全文