随笔分类 - 爬虫入门
摘要：# 分布式爬虫框架部署 ## 1 加代理，cookie，header，加入selenium ### 1.1 加代理 ```python # 在爬虫中间件中 def get_proxy(self): import requests res=requests.get('http://192.168.1.
阅读全文
摘要：# scrapy架构的初步试用 ## scrapy架构的基本介绍 ~~~python # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。有关详细信息，请参见上面的数据流部分。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎
阅读全文
摘要：# selenium的使用与scrapy的简介 * ## Xpath的使用 ~~~python doc = ''' Example website Name: My image 1 Name: My image 2 Name: My image 3 Name: My image 4 Name: My
阅读全文
摘要：# selenium的基本使用 ## bs4搜索文档树 ~~~python from bs4 import BeautifulSoup html_doc = """ The Dormouse's story asdfasdfThe Dormouse's story Once upon a time
阅读全文
摘要：# 代理池搭建完成爬取新闻和视频 ## requests高级用法 * ### ssl认证 ~~~python # https 和http有什么区别 -https=http+ssl/tsl 证书 # 没有被认证过的机构，签发的证书，用的时候，浏览器会提示不安全 # 1 ssl认证 # 1.1 不认证证
阅读全文
摘要：# 爬虫入门 ## 爬虫介绍 ~~~python # 爬虫：spider，网络蜘蛛 # 本质原理： -现在所有的软件原理：大部分都是基于http请求发送和获取数据的 -pc端的网页 -移动端app -模拟发送http请求，从别人的服务端获取数据 -绕过反扒：不同程序反扒措施不一样，比较复杂 # 爬虫
阅读全文
