摘要：
netty的handler模式真的挺方便的，可以像插件一样随意的插入自己新增的功能而不用队系统进行大的变动。 下面我们来看一下这个模式是如何实现和运行的。 待续。。。 阅读全文
摘要：
下面是webmagic官方的默认实现HttpClientDownloader中的下载方法。 上面第一个标黄的方法，构造org.apache.http.client.methods.HttpUriRequest。这是一个挺重要的方法，这里面涉及到各种请求头文件之类的东西。 还有最重要的代理ip这里也是 阅读全文
摘要：
在spider类中有三个方法可以初始化startRequests。可以对这些地方进行扩展。 阅读全文