摘要：
用yield callback 阅读全文
摘要：
需求：将爬取到的数据值分别存储到本地磁盘、redis数据库、mysql数据。 1.需要在管道文件中编写对应平台的管道类 2.在配置文件中对自定义的管道类进行生效操作（在pipelines里面定义的类，加进settings.py里面 pipelines对应的里面，后面数字大小无所谓） pipeline 阅读全文
摘要：
持久化存储操作： a.磁盘文件 a) 基于终端指令 i. 保证parse方法返回一个可迭代类型的对象（存储解析到的页面内容） ii. 使用终端指令完成数据存储到指定磁盘文件的操作 1. scrapy crawl 爬虫文件名称 -o 磁盘文件.后缀 如（test.csv） b)基于管道 i. item 阅读全文
摘要：
1.创建一个工程： scrapy startproject 工程名称 1. 目录结构： 2.在工程目录下创建一个爬虫文件 1.cd 工程 2. scrapy genspider 爬虫文件的名称 起始的url 3.对应的文件中编写爬虫程序来完成爬虫的相关操作 4.配置文件的编写 修改 将setting 阅读全文
摘要：
日志可以根据级别改变 阅读全文
摘要：
登录以后看私密仓库，拒绝递归式进入 阅读全文
摘要：
在爬虫递归操作被拒绝时，可采取需要爬取的页面刷新捕捉Network里面的请求包，拿取requestheaders全部写入即可 阅读全文
摘要：
此处运用到QQ邮箱账号跟授权码 阅读全文
摘要：
import requests import xlwt from bs4 import BeautifulSoup from threading import Thread # 725 1160 def main(): workbook = xlwt.Workbook() sheet1 = workbook.add_sheet('test', cell_overwrite_ok=... 阅读全文
摘要：
注意：sqlite3在execute("sql语句") sqlite3只支持？，：=占位符 不支持%s 但是sql语句作为变量execute(sql)里只可以用%s作占位符，等号的另一遍要加a = 'b' 模糊查询 sql语句like用法 显示结果为'%字段%'， 上述查询结果为关键词里包含字段的 阅读全文