07 2019 档案

python 国内镜像加速
摘要：原因 经常在使用Python的时候需要安装各种模块，而pip是很强大的模块安装工具但是由于国外官方默认pip访问速度慢,经常被墙，导致无法安装，所以我们最好是将自己使用的pip源更换一下，这样就能解决被墙导致的装不上库的烦恼 USER_BASE 和 USER_SITE 其实就是用户自定义的启用Pyt 阅读全文
posted @ 2019-07-28 15:44 suntl 阅读(14507) 评论(0) 推荐(0) 编辑
【转载】爬虫流程总结
摘要：爬虫是一个比较容易上手的技术，也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，完全就是另一回事，并不是1*n这么简单，还会衍生出许多别的问题。 系统的大规模爬虫流程如图所示。 先检查是否有API API是网站官方提供的数据接口，如果通过调用API采集数据，则相当于在网站允许的范围内 阅读全文
posted @ 2019-07-22 00:31 suntl 阅读(715) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示