05 2019 档案
摘要：from fake_useragent import UserAgent ua = UserAgent().random headers={ 'User-Agent':ua } print(headers)
阅读全文
摘要：远程服务器，redis 安装在/opt下redis-4.0.10 cd redis-4.0.10 修改配置文件redis.conf配置文件：（注释掉bind:127.0.0.1）和修改保护模式为no 修改另一个配置文件： vim redis-6379.conf,修改保护模式： 启动redis服务 r
阅读全文
摘要：python中连接redis redis的几种数据类型 1 str 2. hash 类型 # 设置值 hset username product price hget username product hgetall deng # 获取所有name为deng的键值 判断是否存在 hexists na
阅读全文
摘要：mongo 去重 import pymongo client = pymongo.MongoClient() collection=client.t.test # collection.insert({'title':'python','name':'deng','age':23}) data={'
阅读全文
摘要：APScheduler是Python的一个定时任务框架，可以很方便的满足用户定时执行或者周期执行任务的需求， 它提供了基于日期date、固定时间间隔interval 、以及类似于Linux上的定时任务crontab类型的定时任务。 并且该框架不仅可以添加、删除定时任务，还可以将任务存储到数据库中，实
阅读全文
摘要：目录[-] 代码 使用说明 淘宝--模拟登录 使用pyppeteer模拟登录淘宝，获取cookie。 代码 # -*- coding: utf-8 -*- import asyncio from pyppeteer import launch import time from retry impor
阅读全文
摘要：执行JS的类库：execjs，PyV8，selenium，node execjs是一个比较好用且容易上手的类库（支持py2，与py3），支持 JS runtime。 1.安装： pip install PyExecJS 2.运行环境 execjs会自动使用当前电脑上的运行时环境（建议用nodejs，
阅读全文
摘要：dic={'hqo3r': '迎', 'hq6ic': '名', 'hq7yw': '头', 'hq1lk': '新', 'hqpe1': '肇'} content=''' 总体hqo3r则，错的注(hq6ic)释不如(hq6ic)没有注释。所以当一段代码(hq1lk)发生变化时，第一件(hq1lk
阅读全文
摘要：asyncio官网 https://docs.python.org/zh-cn/3/library/asyncio-task.html 下面为伪代码： import aiohttp import asyncio from bs4 import BeautifulSoup import pandas
阅读全文
摘要：分布式任务队列Celery入门与进阶 一、简介 Celery是由Python开发、简单、灵活、可靠的分布式任务队列，其本质是生产者消费者模型，生产者发送任务到消息队列，消费者负责处理任务。Celery侧重于实时操作，但对调度支持也很好，其每天可以处理数以百万计的任务。特点： 简单：熟悉celery的
阅读全文
摘要：1. 开启安卓模拟器 2. 查看进程，MEmuHeadless.exe的进行程号， 然后在cmd中输入 netstat -ano|findstr "16116" 3. 到 airtest软件中连接安卓模拟器 效果：
阅读全文
摘要：1. 在项目文件夹中新建一个commands文件夹 2. 在command的文件夹中新建一个文件 crawlall.py 3.在crawlall.py 中写一个command类，该类继承 scrapy.commands from scrapy.commands import ScrapyComman
阅读全文
摘要：安装： pip install scrapy_proxies github: https://github.com/aivarsk/scrapy-proxies scrapy爬虫配置文件settings.py： # Retry many times since proxies often fail
阅读全文
摘要：1.Charles安装： 1. windows 安装证书 2. 3. 4. 5 pc端设置： Android 手机上设置代理： 先查看pc 端的ip: 2.模拟器进入wifi,按住wifi 3. 模拟器设置代理 下载证书： 用手机浏览器访问： chs.pro/ssl 2. mitmproxy安装 手
阅读全文
摘要：1 .先安装 Anaconda3 2.安装好后： cd 到想要打开jupter notebook的目录，然后在目录下执行 jupyter notebook 3.浏览器自动打开的页面： 4. 基本快捷键 1. 按a 表示 下方插入 cell 2. 按 b 表示下方插入cell shift+tab 查看
阅读全文
摘要：1. 线程池 的应用 from multiprocessing.dummy import Pool import requests from lxml import etree url="https://sz.lianjia.com/ershoufang/co32/" # url="https://
阅读全文
