会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
技术改变命运Andy
博客园
首页
新随笔
联系
订阅
管理
2021年4月23日
爬虫的难点?什么是高级的爬虫?
摘要: 爬虫的难点 1,数据量小,其实没什么,难在数据量大了怎么办?百万级别的呢? 2,数据量大了还好,但是还要效率呢?短时间内要大量数据 3,这些都还好,但是还要稳定性呢,你的爬虫系统稳定吗?这是一个难点, 4,这些都还好,还有就是别人有反爬虫,这是难点,因为爬虫是有成本了,目的是低成本的获取你想要的数据
阅读全文
posted @ 2021-04-23 18:22 技术改变命运Andy
阅读(1341)
评论(0)
推荐(0)
编辑