摘要：
[转]http://www.knowsky.com/1041161.html python 记一次计算qzonetoken经历 之前用python写了个发表说说的爬虫，但最近发现在post数据时返回不对，不能用了，抓包后发现需要添加一个qzonetoken的字符串，这个token并不在cookie里 阅读全文
摘要：
retrying模块的学习 我们在写爬虫的过程中，经常遇到爬取失败的情况，这个时候我们一般会通过try块去进行重试，但是每次都写那么一堆try块，真的是太麻烦，所以今天就来说一个比较pythonic的模块，retrying. 安装 retring模块的安装很简单直接用匹配安装即可。 使用 retri 阅读全文
摘要：
import click # click.option 中的命令规则可参考参数名称。它接受的前两个参数为长、短选项（顺序随意），其中： # # 长选项以 “--” 开头，比如 “--string-to-echo” # 短选项以 “-” 开头，比如 “-s” @click.group() def ma 阅读全文
摘要：
用批量写入代替单个写入 最开始，我的代码逻辑是这样的： for uid, data in user_dict.items(): user_collection.insert_one({'uid':uid, 'user_data': data}) 这种方法在数据量较小时可以很好的工作，但是当数据量非常 阅读全文
摘要：
最近正在学习MongoDB，作为数据库的学习当然是要从CRUD开始学起了。这篇文章默认读者是知道如何安装MongoDB、如何运行MongoDB实例以及了解了MongoDB中的collection、document等相关的概念。 网上对于MongoDB的增删改查操作的文章不少。但是不少都是旧版本的操作 阅读全文
摘要：
I'm currently using Once #2924 is fixed and released, you can upgrade again to the latest and greatest. 阅读全文
摘要：
mitmdump --ignore-hosts ".*443$" -s test.py 阅读全文
摘要：
# -*- coding: utf-8 -*- # @Time : 2018/10/8 11:00 # @Author : cxa # @File : test.py # @Software: PyCharmctx from appium import webdriver from selenium.webdriver.support.ui import WebDriverWait... 阅读全文
摘要：
原因 App页面已经被禁止截屏，禁用用户截屏的代码如下： 解决 但是通过app source还是可以看到的 或者执行代码，进入该页面，通过String source = driver.getPageSource();获取该页面的dom，通过dom找到需要定位的元素。 阅读全文
摘要：
在spider中时在方法里直接写 self.crawler.engine.close_spider(self, 'cookie失效关闭爬虫') 在pipeline和downloaderMiddlewares里 spider.crawler.engine.close_spider(spider, '没 阅读全文