会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
英雄莫问出处,富贵当思缘由
博客园
首页
新随笔
联系
订阅
管理
2018年8月1日
爬虫 大规模数据 采集心得和示例
摘要: 本篇主要介绍网站数据非常大的采集心得 1. 什么样的数据才能称为数据量大: 我觉得这个可能会因为每个人的理解不太一样,给出的定义 也不相同。我认为定义一个采集网站的数据大小,不仅仅要看这个网站包括的数据量的大小,还应该包括这个网址的采集难度,采集网站的服务器承受能力,采集人员所调配的网络带宽和计算机
阅读全文
posted @ 2018-08-01 11:52 淋哥
阅读(3916)
评论(0)
推荐(0)
编辑
公告