摘要: 最近做的爬虫一些事 标签(空格分隔): 杂乱之地 最近在做爬虫,主要是抓取淘宝商品的销量数据。在搜索页很容易就能抓到细览页的数据,主要问题难点是在抓取细览页中,页面的销量及评价数据是通过ajax来动态加载的。这一部分处理比较麻烦。同时又要解决屏蔽的问题。这几天一直在找解决访问。一般的爬虫都是不支持a 阅读全文
posted @ 2016-01-30 16:40 宁静致远_ 阅读(3231) 评论(0) 推荐(0) 编辑
摘要: chrome开发总结(交互/权限/存储) 爬虫 [TOC] 标签(空格分隔): 杂乱之地 经过一翻折腾。还是选择了chrome来做爬虫。主要是为了解决一些ajax加载的问题以及代理的问题。 1.chrome 配置文件 manifest.json 上面这些不是必须的。把自己需要的加上就可以了。基本上后 阅读全文
posted @ 2016-01-30 16:38 宁静致远_ 阅读(7436) 评论(0) 推荐(0) 编辑