随笔分类 - ===爬虫===
摘要：爬虫x6 day117 回顾： 1. requests + Bs 2. Web微信 3. 高性能相关 4. Scrapy框架 组件 写爬虫 a. scrapy startproject sp3 b. cd sp3 scrapy genspider xx xx.com c. 起始URL start_u
阅读全文
摘要：爬虫x5 上节内容回顾： 异步非阻塞 回调 不等待 scrapy框架 创建爬虫 scrapy startproject sp2 cd sp2 scrapy genspider chouti chout.com scrapy crawl chouti 写代码 chouti.py name属性 域名 起
阅读全文
摘要：s4爬虫x4 1、总结爬虫流程： 爬取 解析 存储 2、爬虫所需工具： 请求库：requests,selenium 解析库：正则，beautifulsoup，pyquery 存储库：文件，MySQL，Mongodb，Redis 3、爬虫常用框架： scrapy 内容回顾： requests beau
阅读全文
摘要：中文文档: https://selenium-python-zh.readthedocs.io/en/latest/installation.html 下载 chromedriver https://sites.google.com/a/chromium.org/chromedriver/downl
阅读全文
摘要：BEAUTIFUL SOUP的介绍 就是一个非常好用、漂亮、牛逼的第三方库，是用Python写的一个HTML/XML的解析器，它可以很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又常用的导航（navigating），搜索以及修改剖析树的操作。它可以大大节省你的编程时间 BEA
阅读全文
摘要：urllib Python标准库中提供了：urllib等模块以供Http请求，但是，它的 API 太渣了。 它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务， 下面是简单的使用urllib来进行请求数据的方法 我们更推荐大家使用第二种方法，两种方法请求的结果都一样，只不过第二种中间多了一个
阅读全文
摘要：anaconda https://www.anaconda.com/download http://docs.anaconda.com/anaconda/user-guide/getting-started/ Jupyter Notebooks https://baijiahao.baidu.com
阅读全文
