图书信息库完整解决方案（五）网络代理

频繁的爬取网站数据，很容易导致ip被封锁，所以在具体爬取网页的过程中一定要使用代理ip。

代理ip的来源一般就两种：

1、免费代理ip（可自行搜索，一般免费ip的质量不会太高，并且时好时坏，有很多根本无法使用）。

2、付费代理ip（有不少网站提供收费的代理ip，质量高并且访问速度稳定）。

我在这里采用了两种相结合的方式，首先从百度上找了一些免费ip，然后也少量付费购买了一些收费ip，在此基础上形成了自己的种子ip库。

然后以这个库为基础进行图书数据的抓取。

当某个ip无法使用时则在库内进行标记，当可使用的ip低于某个临界值（比如仅有10个ip可用）则从指定网站抓取一些免费ip入库。

当所有ip都无法使用时，则重置库内所有ip为可用，然后从头开始尝试，往往有一些ip这时候就可用了。

这样一边积累自己的ip库，一边不断的抓取，基本能保证始终有可用的代理ip。