2018 年 1月 10 日随笔档案 - yugengde

2018年1月10日

该文被密码保护。阅读全文

posted @ 2018-01-10 21:20 yugengde 阅读(2) 评论(0) 推荐(0) 编辑

该文被密码保护。阅读全文

posted @ 2018-01-10 21:18 yugengde 阅读(1) 评论(0) 推荐(0) 编辑

摘要： import requests # 1. headers url = 'https://api.github.com/some/endpoint' headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/5 阅读全文

posted @ 2018-01-10 17:43 yugengde 阅读(2283) 评论(0) 推荐(0) 编辑

scrapy

摘要： 1. 创建项目 2. 创建爬虫(项目目录下 cd <projectName>) 3. 运行爬虫(项目目录下) 爬虫技巧设置setting.py 1. 设置不遵循 ROBOTSTXT_OBEY 2. 设置延时 3. 设置 USER_AGENT 和 DEFAULT_REQUEST_HEADERS 4. 阅读全文

posted @ 2018-01-10 12:02 yugengde 阅读(386) 评论(0) 推荐(0) 编辑

yugengde

公告