小白抓虫

小白学爬虫(一)- 之初识爬虫

 

世界上80%的爬虫是基于Python开发的,学好爬虫技能,可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。

整理这个文档资料希望能对小伙伴有帮助。

 

什么是爬虫?

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

其实通俗的讲就是通过程序去获取web页面上自己想要的数据,也就是自动抓取数据

爬虫可以做什么?

你可以爬去妹子的图片,爬取自己想看看的视频。。等等你想要爬取的数据,只要你能通过浏览器访问的数据都可以通过爬虫获取

爬虫的本质是什么?

模拟浏览器打开网页,获取网页中我们想要的那部分数据

浏览器打开网页的过程:
当你在浏览器中输入地址后,经过DNS服务器找到服务器主机,向服务器发送一个请求,服务器经过解析后发送给用户浏览器结果,包括html,js,css等文件内容,浏览器解析出来最后呈现给用户在浏览器上看到的结果

所以用户看到的浏览器的结果就是由HTML代码构成的,我们爬虫就是为了获取这些内容,通过分析和过滤html代码,从中获取我们想要资源(文本,图片,视频.....)

 

 

分类: 爬虫
分类: 爬虫
« 上一篇:python 之路,致那些年,我们依然没搞明白的编码
» 下一篇:小白学爬虫(二) - 之爬虫的原理
	</div>
	<div class="postDesc">posted @ <span id="post-date">2018-01-26 14:23</span> <a href="http://www.cnblogs.com/alex3714/">金角大王</a> 阅读(<span id="post_view_count">763</span>) 评论(<span id="post_comment_count">0</span>) &nbsp;<a href="https://i.cnblogs.com/EditArticles.aspx?postid=8359303" rel="nofollow">编辑</a> <a href="#" onclick="AddToWz(8359303);return false;">收藏</a></div>
</div>
<script type="text/javascript">var allowComments=true,cb_blogId=214271,cb_entryId=8359303,cb_blogApp=currentBlogApp,cb_blogUserGuid='64e4fae3-b5aa-e411-b908-9dcfd8948a71',cb_entryCreatedDate='2018/1/26 14:23:00';loadViewCount(cb_entryId);var cb_postType=2;</script>
</div><!--end: forFlow -->
</div>
posted @   韦大仙  阅读(149)  评论(0编辑  收藏  举报
编辑推荐:
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
阅读排行:
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· winform 绘制太阳,地球,月球 运作规律
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 上周热点回顾(3.3-3.9)
· 超详细:普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人
点击右上角即可分享
微信分享提示