我自己的爬虫框架(一)

       最近都在研究爬虫的相关东西，感触良多。先把我自己的单线程的爬虫架构和大家分享一下，请大家指教。

     

      按照上面的这个流程图，可以写出一个比较简单，并且代码思路也比较清晰的爬虫程序。

      请大家多多指教。