Crewler - 随笔分类 - Jrri

Scrapy框架解析,使用

摘要：Scrapy Install command: lib: 解析库 SSL协议库异步Web框架 main: 框架 Use command: 创建项目编辑项目后, 启动爬虫脚本结构分析: 在scrapy框架中. 执行新项目指令之后.例如: 会生成如下目录生成了一个项目名的根目录一级目录下: 用阅读全文

posted @ 2020-05-24 00:39 Jrri 阅读(180) 评论(0) 推荐(0) 编辑

爬虫理论

摘要：爬虫字符串字符串分两类: 1. bytes (二进制形式) 2. str (unicode形式) 字符集: 字符集是多个字符的集合 ASCII字符集 GB2312字符集 GB18030 Unicode字符集字符集包含了所有需要表示字符. ASCII是最早使用最多的字符集, 编码用1个字节表示. 阅读全文

posted @ 2020-05-23 19:48 Jrri 阅读(226) 评论(0) 推荐(0) 编辑

爬取思想流程

摘要：爬取思想流程最近两天写爬虫比较多, 总结一下书写爬虫的思路步骤. 获取url. 浏览器打开. 如果无法直接打开, 则判断哪里有验证,根据平台修改User Agent等请求头. 信息页面路径上是否有所验证. 登录验证, IP验证. 有则一一解决. 登录验证登录验证主要分两种: 图片验证: 抓下图片阅读全文

posted @ 2020-03-27 01:37 Jrri 阅读(169) 评论(0) 推荐(0) 编辑

WordSearch英语单词词义搜索工具

摘要：英语单词词义搜索小工具: 有5个功能: 1.Definition(单词定义-英英释义) 2.WordFamily(形近词) 3.Synonym(同义词) 4.Antonym(反义词) 5.ContextualSentence(例句) 将所需要查询的单词分行填写在'Word.txt'文件中后. 运行该阅读全文

posted @ 2019-10-17 18:43 Jrri 阅读(1151) 评论(0) 推荐(0) 编辑

多进程+协程方案处理高IO密集,提升爬取效率

摘要：# coding=utf-8 import gevent from gevent import monkey # monkey.patch_all() gevent.monkey.patch_all(thread=False, socket=False, select=False) # 协程geve 阅读全文

posted @ 2019-08-18 13:59 Jrri 阅读(809) 评论(0) 推荐(0) 编辑

Jrri

随笔分类 - Crewler

随笔分类

阅读排行榜