随笔分类 -  网络爬虫

回顾
python 国内镜像加速
摘要：原因 经常在使用Python的时候需要安装各种模块，而pip是很强大的模块安装工具但是由于国外官方默认pip访问速度慢,经常被墙，导致无法安装，所以我们最好是将自己使用的pip源更换一下，这样就能解决被墙导致的装不上库的烦恼 USER_BASE 和 USER_SITE 其实就是用户自定义的启用Pyt 阅读全文
posted @ 2019-07-28 15:44 suntl 阅读(14507) 评论(0) 推荐(0) 编辑
【转载】爬虫流程总结
摘要：爬虫是一个比较容易上手的技术，也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，完全就是另一回事，并不是1*n这么简单，还会衍生出许多别的问题。 系统的大规模爬虫流程如图所示。 先检查是否有API API是网站官方提供的数据接口，如果通过调用API采集数据，则相当于在网站允许的范围内 阅读全文
posted @ 2019-07-22 00:31 suntl 阅读(715) 评论(0) 推荐(0) 编辑
转载：用python爬虫抓站的一些技巧总结
摘要：原文链接：http://www.pythonclub.org/python-network-application/observer-spider 原文的名称虽然用了《用python爬虫抓站的一些技巧总结》但是，这些技巧不仅仅只有使用python的开发可以借鉴，我看到这篇文章的时候也在回忆自己... 阅读全文
posted @ 2015-09-03 22:42 suntl 阅读(424) 评论(0) 推荐(0) 编辑
再说网络爬虫
摘要：现在做网络爬虫很容易，最常使用到的应该莫过于Python，类库丰富开发方便，简单。当然还有其他的，我没有接触的东西也很多，今天就说一下我两年前接触的一个项目中的很小一部分——模仿浏览器访问网站，大名网络机器人。 其实前一段时间看过一篇文章《在浏览器中输入网址后都发生了什么》，这是一篇很好的文章... 阅读全文
posted @ 2015-04-23 00:09 suntl 阅读(191) 评论(0) 推荐(0) 编辑
反思自己一年前做数据采集的经过——网络爬虫
摘要：以前没有写过，这是第一次写，用词不当，表述不清楚的地方请见谅。希望大家多提建议，谢谢。网络爬虫常常被人所忽略，特别是和搜索引擎的光环相比，它似乎有些暗淡无光。我很少看见有详细介绍爬虫实现的文章或者文档。然而，爬虫其实是非常重要的一个系统，特别是在今天这个数据为王的时代。如果你是一个刚刚开始的公司或者... 阅读全文
posted @ 2014-08-17 01:31 suntl 阅读(2330) 评论(2) 推荐(1) 编辑

点击右上角即可分享
微信分享提示