摘要：
l 取出用户名 阅读全文
摘要：
使用Beautiful Soup Beautiful Soup在解析时实际上依赖解析器，它除了支持Python标准库中的HTML解析器外，还支持一些第三方解析器（比如lxml）。 解析器 使用方法 优势 劣势 Python标准库 BeautifulSoup(markup, "html.parser" 阅读全文
摘要：
安装好了MySQL数据库并保证它能正常运行，而且需要安装好PyMySQL库。 连接数据库 这里，首先尝试连接一下数据库。假设当前的MySQL运行在本地，用户名为root，密码为123456，运行端口为3306。这里利用PyMySQL先连接MySQL，然后创建一个新的数据库，名字叫作spiders，代 阅读全文
摘要：
使用XPath 保存为TXT 保存为csv 读取csv Excel打开乱码参考：excel打开csv文件显示乱码的处理方法_百度经验 保存到MongoDB 稍微改动 抛出异常 raise DuplicateKeyError(error.get("errmsg"), 11000, error) pym 阅读全文
摘要：
发送post请求 可以使用 yield scrapy.FormRequest(url, formdata, callback)方法发送POST请求。 如果希望程序执行一开始就发送POST请求，可以重写Spider类的start_requests(self) 方法，并且不再调用start_urls里的 阅读全文
摘要：
爬取站点 https://it.ithome.com/ityejie/ ，进入详情页提取内容。 阅读全文
摘要：
爬取站点 https://it.ithome.com/ityejie/ ，进入详情页提取内容。 阅读全文
摘要：
源码自带项目说明： 使用scrapy-redis的example来修改 先从github上拿到scrapy-redis的示例，然后将里面的example-project目录移到指定的地址： 我们clone到的 scrapy-redis 源码中有自带一个example-project项目，这个项目包含 阅读全文
摘要：
爬取 http://tech.china.com/articles/ 抓取新闻列表中所有分页的新闻详情，包括标题、正文、时间、来源等信息。 创建项目scrapy startproject China scrapy genspider -t crawl chinatech items.py china 阅读全文
摘要：
创建项目scrapy startproject douyu 编写items.py 创建基础类的爬虫 scrapy genspider douyutupian capi.douyucdn.cn 手机抓包得到API接口，返回JSON格式数据 douyutupian.py 管道文件pipelines.py 阅读全文