Scrapy:Python的爬虫框架【转摘】
摘要:
网络爬虫,是在网上进行数据抓取的程序,使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序,但是使用框架可以大大提高效率,缩短开发时间。Scrapy是一个使用Python编写的,轻量级的,简单轻巧,并且使用起来非常的方便。Scrapy使用了Twisted异步网络库来处理网络通讯。... 阅读全文
posted @ 2014-08-06 11:00 海-飞 阅读(167) 评论(0) 推荐(0) 编辑