MAC 上抓取网页数据的工具有哪些?
我希望能够从网页上, 比如气象局数据, 财经数据等等, 我看到官方提供的数据都比较混乱, 有的是一个php文件, 有的是一个文本, 有的干脆不提供数据, 我想问, Mac上, 用什么工具去抓数据, 以及处理这些数据大神们一般用很么方法?
1、http://Import.io
import.io用法非常简单,注册后输入网址链接,就可以在可视化界面对数据进行筛选。操作也是超级简单,如下图,唯一缺点就是全英文,不过咱们自己也有,来看看第二个吧。
2、parsehub
parsehub与以上两种网页抓取不同的是,parsehub需要用户下载客户端之后再使用,打开就像一个浏览器,输入网址后在网页提取出需要的信息。
https://ma.taobao.com/ZTg4et (二维码自动识别)
3、80legs
80legs80legs在由5万台计算机构成的Plura网格 上每天抓取200万网页。 但是在使用上可能并没有前几个那么好用。
4、Web Scraper
Web ScraperWeb Scraper是需要在谷歌应用商店安装的一个插件,基本步骤就是点点点
详细的教程可以看这里http://www.w 2bc.com/article/241334
https://ma.taobao.com/ZTg4et (二维码自动识别)
5、FMiner
FMinerFMiner同样也需要下载客户端进行使用,但它是一款付费产品,有15天的免费使用期。
总结
以上介绍的都是国外的工具,如果更喜欢中文界面,可以来试试我们的产品造数造数 -深受广大爬虫爱好者喜欢的云爬虫
造数比http://import.io更适合国人使用。直接在原网页基础上操作,还可以分布式爬取、深度爬取等,对数据有需求的可以尝试下。
其实网页爬取工具很多,大可不必全部掌握,把它当作工具来方便自己的工作才是本文的目标。
链接:https://www.zhihu.com/question/27736988/answer/497899625
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
我在mac上用的是下图这个,日常基本数据的爬取足够了。
1)日常临时性的,或者快速的数据爬取,就用这个
2)其他的还是会写写python爬取,毕竟开发需要时间和成本,要考虑投入产出比
应用信息 主界面,和八抓鱼差不多 爬取规则页面,也和八抓鱼差不多,不过更好看和方便
赞赏码
非学,无以致疑;非问,无以广识
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 现代计算机视觉入门之:什么是图片特征编码
· .NET 9 new features-C#13新的锁类型和语义
· Linux系统下SQL Server数据库镜像配置全流程详解
· Sdcb Chats 技术博客:数据库 ID 选型的曲折之路 - 从 Guid 到自增 ID,再到
· 语音处理 开源项目 EchoSharp
· 《HelloGitHub》第 106 期
· Huawei LiteOS基于Cortex-M4 GD32F4平台移植
· mysql8.0无备份通过idb文件恢复数据过程、idb文件修复和tablespace id不一致处
2018-07-31 微博第三方登陆请求授权出现错误码:21322(重定向地址不匹配)的解决方法
2018-07-31 微博第三方登陆请求授权出现错误码:21322(重定向地址不匹配)的解决方法
2018-07-31 PHP array_multisort()函数超详细理解
2018-07-31 PHP array_multisort()函数超详细理解
2018-07-31 php array_multisort
2018-07-31 php array_multisort
2018-07-31 php统计近一周和近30天的用户数据