2017年5月5日
Ruby爬虫header发送cookie，nokogiri解析html数据
摘要： 之前用php写过一个爬虫，同样是获取局域网的网站数据，这次我使用相同的网络环境，更低的电脑配置，使用ruby来再次爬虫，惊人的发现ruby使用自带的类库net/http爬取速度要远远超过php的curl_ 函数。在循环爬取网页时，ruby的cpu占用率上达到了40 70%，而php仅仅使用了可怜的5 阅读全文
posted @ 2017-05-05 13:46 devilyouwei 阅读(642) 评论(0) 推荐(0)