随笔分类 - 爬虫
摘要：1. XPath Helper 的安装 step1.打开谷歌浏览器Chrome的扩展管理器（方法：点击最左侧的三个点，在弹出的菜单中选择【更多工具】-【扩展程序】，或者你可以在地址栏中直接输入chrome://extensions/） step2.进入扩展程序页面后将开发者模式打勾 step3.最后
阅读全文
摘要：1.selenium抓取动态网页数据基础介绍 1.1 什么是AJAX AJAX（Asynchronouse JavaScript And XML：异步JavaScript和XML）通过在后台与服务器进行少量数据交换，Ajax 可以使网页实现异步更新，这意味着可以在不重新加载整个网页的情况下，对网页的
阅读全文
摘要：1. MongoDB简介 MongoDB是一个基于分布式文件存储的NoSQL数据库，具有以下特点： 易用性 MongoDB是一个面向文档（document-oriented）的数据库，而不是关系型数据库。不采用关系型主要是为了获得更好的扩展性。当然还有一些其他好处，与关系数据库相比，面向文档的数据库
阅读全文
摘要：1. 正则表达式常用匹配规则 1.1 匹配某个字符串 text = 'hello' ret = re.match('he',text)#math从字符串起始位置开始匹配，起始位置未匹配返回None print(ret.group()) >> he 以上便可以在hello中，匹配出he。 1.2 点（
阅读全文
摘要：1. BeautifulSoup库简介 和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM（Document Object Model
阅读全文
摘要：lxml中文文档https://www.w3cschool.cn/lxml/ 1. Xpath 1 )什么是XPath？ xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。 2) XPath开发工具 Ch
阅读全文
摘要：什么是cookie： 在网站中，http请求是无状态的。也就是说即使第一次和服务器连接后并且登录成功后，第二次请求服务器依然不能知道当前请求是哪个用户。cookie的出现就是为了解决这个问题，第一次登录后服务器返回一些数据（cookie）给浏览器，然后浏览器保存在本地，当该用户发送第二次请求的时候，
阅读全文
摘要：urllib库 urllib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。 urlopen函数： 在Python3的urllib库中，所有和网络请求相关的方法，都被集到urllib.request模块下面了，以先来看下urlo
阅读全文
摘要：python中文官方文档：https://docs.python.org/zh-cn/3/ Requests中文官方文档地址：https://requests.readthedocs.io/projects/cn/zh_CN/latest/ 1.Requests模块快速入门 1.Requests模块
阅读全文
