07 2017 档案

nodejs爬虫笔记(三)---爬取YouTube网站上的视频信息
摘要：思路：通过笔记（二）中代理的设置，已经可以对YouTube的信息进行爬取了，这几天想着爬取网站下的视频信息。通过分析YouTube，发现可以从订阅号入手，先选择几个订阅号，然后爬取订阅号里面的视频分类，之后进入到每个分类下的视频列表，最后在具体到每一个视频，获取需要的信息。以订阅号YouTube 电 阅读全文
posted @ 2017-07-30 19:10 半夜打老虎 阅读(5504) 评论(0) 推荐(0) 编辑
nodejs爬虫笔记(二)---代理设置
摘要：node爬虫代理设置 最近想爬取YouTube上面的视频信息，利用nodejs爬虫笔记(一)的方法,代码和错误如下 由于国内访问youtube的时候需要FQ，而在代码里我们需要通过设置代理才能获取页面信息。 1、通过nodejs的http/https模块 具体使用可以参考http://nodejs. 阅读全文
posted @ 2017-07-10 20:38 半夜打老虎 阅读(3447) 评论(0) 推荐(0) 编辑
nodejs爬虫笔记(一)---request与cheerio等模块的应用
摘要：目标：爬取慕课网里面一个教程的视频信息，并将其存入mysql数据库。以http://www.imooc.com/learn/857为例。 一、工具 1.安装nodejs：（操作系统环境：WiN 7 64位） 在Windows环境下安装相对简单（ps:其他版本我也不太清楚，可以问度娘） http:// 阅读全文
posted @ 2017-07-06 10:50 半夜打老虎 阅读(25064) 评论(2) 推荐(0) 编辑

点击右上角即可分享
微信分享提示