摘要: 写脚本从指定网站抓取数据的时候,免不了会被网站屏蔽IP。所以呢,就需要有一些IP代理。随便在网上找了一个提供免费IP的网站 "西刺" 做IP抓取。本次实践抓取的是其提供的国内匿名代理。可以打开网站查看一下源码,我们需要的内容在一个table区域内,通过BS4能很容易提取需要的信息。 Step 1:H 阅读全文
posted @ 2016-05-03 20:01 Tacey Wong 阅读(2710) 评论(0) 推荐(0) 编辑
摘要: 在本博文中我们将学习一下wget这个工具。wget可以使用HTTP、HTTPS、和FTP等常见网络协议来从万维网(WWW)获取文件(从它的名字来源也可以看出 World Wide Web Get wget)。wget是一个在GUN GPL协议下免费的软件,可以安装在任意Unix like系统,Win 阅读全文
posted @ 2016-05-03 16:45 Tacey Wong 阅读(856) 评论(0) 推荐(0) 编辑