摘要: 1.概念 1.1什么是爬虫 网络爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本,通俗的讲就是通过程序去获取web页面上自己想要的数据,也就是自动抓取数据。 1.2爬虫有什么用 爬虫是为了获取数据,比如你想在网页上下载一些图片,一张一张的手动下载又太慢, 阅读全文
posted @ 2019-09-26 19:19 一男、 阅读(162) 评论(0) 推荐(0) 编辑
摘要: #用于Python #用于Python user_agent = [ user_agent = [ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 阅读全文
posted @ 2019-09-26 17:26 一男、 阅读(168) 评论(0) 推荐(0) 编辑