上一页 1 2 3 4 5 6 ··· 10 下一页
摘要: 从上图中,我们可以看出,小程序中登录步骤如下: ① 小程序前端使用wx.login() 从微信服务器获取code ② 小程序前端将code 发送给开发者服务器,开发者服务器利用appId、appSecret 和code 向微信服务器换换取用户openId 和session_key ③ 开发者服务器自 阅读全文
posted @ 2020-09-09 14:33 年少无为腿毛怪 阅读(1002) 评论(0) 推荐(0) 编辑
摘要: options = webdriver.ChromeOptions() options.add_experimental_option("excludeSwitches", ["enable-automation"]) options.add_experimental_option('useAuto 阅读全文
posted @ 2020-08-26 15:59 年少无为腿毛怪 阅读(338) 评论(0) 推荐(0) 编辑
摘要: 切换页面: 有时候窗口中有很多子tab页面。这时候肯定是需要进行切换的。selenium提供了一个叫做switch_to_window来进行切换,具体切换到哪个页面,可以从driver.window_handles中找到。示例代码如下: # 打开一个新的页面 # 切换到这个新的页面中 self.dr 阅读全文
posted @ 2020-08-26 15:55 年少无为腿毛怪 阅读(3728) 评论(0) 推荐(1) 编辑
摘要: set autocommit=0, 当前session禁用自动提交事物,自此句执行以后,每个SQL语句或者语句块所在的事务都需要显示"commit"才能提交事务。 set autocommit=1, 执行update,inster,select等等时立即执行 start transaction 指的 阅读全文
posted @ 2020-08-24 09:31 年少无为腿毛怪 阅读(325) 评论(0) 推荐(0) 编辑
摘要: class scrapy.selector.Selector(response=None, text=None, type=None) Selector 的实例是对选择某些内容响应的封装。 response 是 HtmlResponse 或 XmlResponse 的一个对象,将被用来选择和提取数据 阅读全文
posted @ 2020-07-27 11:44 年少无为腿毛怪 阅读(254) 评论(0) 推荐(1) 编辑
摘要: 在学习xpath()的过程中,除了学习xpath的基本语法外,我们最先遇到的往往是文档的格式化问题!因为只有正确格式化之后的文档,才能准确利用xpath寻找其中的关键信息。 对于文档格式化的问题,可能不同的人,会遇到不一样的情况,但是基本上只要搞懂了lxml.etree.HTML(),lxml.et 阅读全文
posted @ 2020-07-23 11:50 年少无为腿毛怪 阅读(593) 评论(0) 推荐(0) 编辑
摘要: 1 from lxml import etree 2 import requests 3 res=requests.get('http://www.w3school.com.cn/') 4 tree=etree.HTML(res.content) 5 div=tree.xpath('//div[@i 阅读全文
posted @ 2020-07-22 21:26 年少无为腿毛怪 阅读(584) 评论(0) 推荐(1) 编辑
摘要: tail -f <日志位置> 查看日志 pkill -9 redis 关闭redis cp dump. rdb. bak dump. rdb 文件覆盖(为了将持久化数据拿出来) /usr/local/redis/bin/redis-server /usr/local/redis/redis.conf 阅读全文
posted @ 2020-06-23 16:08 年少无为腿毛怪 阅读(160) 评论(0) 推荐(0) 编辑
摘要: redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集 阅读全文
posted @ 2020-06-23 14:21 年少无为腿毛怪 阅读(155) 评论(0) 推荐(0) 编辑
摘要: 1、从用户请求的Headers反爬虫是最常见的反爬虫策略。 伪装header。很多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。如果遇到了这类反爬虫机制,可以直接在爬虫中添加Headers,将浏览器的U 阅读全文
posted @ 2020-06-07 15:05 年少无为腿毛怪 阅读(154) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 10 下一页