摘要：
前言：在学习爬虫之前，还需要了解一些基础知识，比如HTML网页基础、HTTP原理、session和cookie的基本原理等。掌握其精髓，在后续的学习中才能达到事半功倍的效果。 本文主要涉及的知识点： 。爬虫的基本结构和工作原理 。HTTP的基本原理 。HTML基础 。session和cookie 爬 阅读全文
摘要：
fullpage 全屏插件 全屏滚动效果，原生js也很好实现，主要是用 mousewheel 鼠标滚轮滚动事件， 来判断上滚动还是下滚动，之后设置每次滚动的高度为屏幕的高度即可。但是，虽然效果简单，但是兼容性很差，要做很多兼容处理及比较麻烦啦！ fullPage.js 是一个基于 jQuery 的插 阅读全文
摘要：
提升爬虫的速度 从前面几篇已经可以从获取网页、解析网页、存储数据来实现一些基本的爬虫。现在记录一些进阶部分：提升爬虫速度，主要有3中方法：多线程爬虫、多进程爬虫、多协程爬虫。对比普通单线程爬虫，使用这3种方法爬虫的速度能成倍的提升。 并发和并行 并发是指在一段时间内发生的若干时间的情况 并行是值在同 阅读全文
摘要：
GPT技术（Generative Pre-trained Transformer）是一种用于自然语言处理的深度学习技术，可以提供高精度的文本生成功能，可以有效改善在线聊天体验，提高用户体验和满意度。它通过利用深度学习和自然语言处理技术来实现自动生成文本，以提高在线聊天体验。 首先，GPT技术可以有效 阅读全文
摘要：
Turtle库是Python语言中一个很流行的绘制图像的函数库 使用之前需要导入库：import turtle turtle绘图的基础知识： 1.设置画布窗口 turtle.setup(width,height,startx,starty) -setup() 设置窗体的位置和大小 相对于桌面的起始点 阅读全文
摘要：
数据储存 主要介绍两种数据储存方法： 储存在文件中，包括text文件和csv文件 存储在数据库中，包括MySQL关系型数据库和mongoDB数据库 存储到txt title = "第一个文本" # W创建写入 W+创建读取+写入 # R读取 r+读取+写入 # A 写入 a+ 读取写入 附加 wit 阅读全文
摘要：
解析网页 主要使用到3种方法提取网页中的数据，分别是正则表达式、beautifulsoup和lxml。 使用正则表达式解析网页 正则表达式是对字符串操作的逻辑公式 .代替任意字符 、 *匹配前0个或多个 、 + 匹配前1个或多个 、 ？前0次或1次 、 ^开头 、 $ 结尾 、（）匹配括号里面的表达 阅读全文
摘要：
动态抓取的实例 在开始爬虫之前，我们需要了解一下Ajax（异步请求）。它的价值在于在与后台进行少量的数据交换就可以使网页实现异步更新。 如果使用Ajax加载的动态网页抓取，有两种方法： 通过浏览器审查元素解析地址。 通过Selenium模拟浏览器抓取。 解析真实地址抓取 # 请求头 headers 阅读全文
摘要：
静态网页抓取 在网站设计中，纯HTML格式的网页通常被称之为静态网页，在网络爬虫中静态网页的数据比较容易抓取，因为说有的数据都呈现在网页的HTML代码中。相对而言使用Ajax动态加载的玩个的数据不一定会出现在HTML代码中，就给爬虫抓取增加了难度。 在静态网页抓取中，有一个强大的requests库能 阅读全文
摘要：
python安装 Anaconda的python科学计算环境，只需要想普通软件一样安装就可以把python的环境变量、解释器、开发环境都安装到计算机中 除此之外anaconda还提供众多的科学计算的包，如numpy、scipy、pandas、和matplotlib等，以及机器学习、生物医学和天体物理 阅读全文
