腿毛怪

摘要： 从上图中，我们可以看出，小程序中登录步骤如下： ① 小程序前端使用wx.login() 从微信服务器获取code ② 小程序前端将code 发送给开发者服务器，开发者服务器利用appId、appSecret 和code 向微信服务器换换取用户openId 和session_key ③ 开发者服务器自 阅读全文

摘要： options = webdriver.ChromeOptions() options.add_experimental_option("excludeSwitches", ["enable-automation"]) options.add_experimental_option('useAuto 阅读全文

摘要： 切换页面： 有时候窗口中有很多子tab页面。这时候肯定是需要进行切换的。selenium提供了一个叫做switch_to_window来进行切换，具体切换到哪个页面，可以从driver.window_handles中找到。示例代码如下： # 打开一个新的页面 # 切换到这个新的页面中 self.dr 阅读全文

摘要： set autocommit=0, 当前session禁用自动提交事物，自此句执行以后，每个SQL语句或者语句块所在的事务都需要显示"commit"才能提交事务。 set autocommit=1， 执行update，inster，select等等时立即执行 start transaction 指的 阅读全文

摘要： class scrapy.selector.Selector(response=None, text=None, type=None) Selector 的实例是对选择某些内容响应的封装。 response 是 HtmlResponse 或 XmlResponse 的一个对象，将被用来选择和提取数据 阅读全文

摘要： 在学习xpath()的过程中，除了学习xpath的基本语法外，我们最先遇到的往往是文档的格式化问题！因为只有正确格式化之后的文档，才能准确利用xpath寻找其中的关键信息。 对于文档格式化的问题，可能不同的人，会遇到不一样的情况，但是基本上只要搞懂了lxml.etree.HTML()，lxml.et 阅读全文

摘要： 1 from lxml import etree 2 import requests 3 res=requests.get('http://www.w3school.com.cn/') 4 tree=etree.HTML(res.content) 5 div=tree.xpath('//div[@i 阅读全文

摘要： tail -f <日志位置> 查看日志 pkill -9 redis 关闭redis cp dump. rdb. bak dump. rdb 文件覆盖（为了将持久化数据拿出来） /usr/local/redis/bin/redis-server /usr/local/redis/redis.conf 阅读全文

摘要： redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集 阅读全文

摘要： 1、从用户请求的Headers反爬虫是最常见的反爬虫策略。 伪装header。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的U 阅读全文