随笔分类 - python网络爬虫
摘要：一、Matplotlib 博文来源：https://www.runoob.com/matplotlib/matplotlib-tutorial.html Matplotlib 是 Python 的绘图库，它能让使用者很轻松地将数据图形化，并且提供多样化的输出格式。 Matplotlib 可以用来绘制
阅读全文
摘要：一、什么是Pandas? 博文转载：https://www.runoob.com/pandas/pandas-tutorial.html 基于NumPy的一种工具，该工具是为解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提
阅读全文
摘要：一、什么是numpy? NumPy（Numerical Python）是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表（nested list structure)结构要高效的多（该结构也可以用来表示矩阵（matrix）），支持大量的维度数组与矩
阅读全文
摘要：一：什么是XPath XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。 XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。 XPath基于XML的树状结构，提供在数据结构
阅读全文
摘要：什么是Scrapy？（百度百科） Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供
阅读全文
摘要：正则表达式 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个 “规则字符串”，这个 “规则字符串” 用来表达对字符串的一种过滤逻辑。 1. 正则表达式的语法规则 2.正则表达式相关注解 （1）数量词的贪婪模式与非贪婪模式 正则表达式通常用于在文本
阅读全文
摘要：一.爬虫入门 1.爬虫是什么？ 爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息。 2.爬虫原理 获取初始的URL。初始的URL地址可以由用户人为地指定，也可以由用户指定的某个或某几个初始爬取网页决定。 根据初始的URL爬取页面并获得新的URL。获得初始的URL地址之后，首先需
阅读全文
