摘要:
[转]http://www.knowsky.com/1041161.html python 记一次计算qzonetoken经历 之前用python写了个发表说说的爬虫,但最近发现在post数据时返回不对,不能用了,抓包后发现需要添加一个qzonetoken的字符串,这个token并不在cookie里 阅读全文
摘要:
retrying模块的学习 我们在写爬虫的过程中,经常遇到爬取失败的情况,这个时候我们一般会通过try块去进行重试,但是每次都写那么一堆try块,真的是太麻烦,所以今天就来说一个比较pythonic的模块,retrying. 安装 retring模块的安装很简单直接用匹配安装即可。 使用 retri 阅读全文
摘要:
import click # click.option 中的命令规则可参考参数名称。它接受的前两个参数为长、短选项(顺序随意),其中: # # 长选项以 “--” 开头,比如 “--string-to-echo” # 短选项以 “-” 开头,比如 “-s” @click.group() def ma 阅读全文
摘要:
用批量写入代替单个写入 最开始,我的代码逻辑是这样的: for uid, data in user_dict.items(): user_collection.insert_one({'uid':uid, 'user_data': data}) 这种方法在数据量较小时可以很好的工作,但是当数据量非常 阅读全文
摘要:
最近正在学习MongoDB,作为数据库的学习当然是要从CRUD开始学起了。这篇文章默认读者是知道如何安装MongoDB、如何运行MongoDB实例以及了解了MongoDB中的collection、document等相关的概念。 网上对于MongoDB的增删改查操作的文章不少。但是不少都是旧版本的操作 阅读全文
摘要:
I'm currently using Once #2924 is fixed and released, you can upgrade again to the latest and greatest. 阅读全文
摘要:
mitmdump --ignore-hosts ".*443$" -s test.py 阅读全文
摘要:
# -*- coding: utf-8 -*- # @Time : 2018/10/8 11:00 # @Author : cxa # @File : test.py # @Software: PyCharmctx from appium import webdriver from selenium.webdriver.support.ui import WebDriverWait... 阅读全文
摘要:
原因 App页面已经被禁止截屏,禁用用户截屏的代码如下: 解决 但是通过app source还是可以看到的 或者执行代码,进入该页面,通过String source = driver.getPageSource();获取该页面的dom,通过dom找到需要定位的元素。 阅读全文
摘要:
在spider中时在方法里直接写 self.crawler.engine.close_spider(self, 'cookie失效关闭爬虫') 在pipeline和downloaderMiddlewares里 spider.crawler.engine.close_spider(spider, '没 阅读全文