摘要:
最近做的爬虫一些事 标签(空格分隔): 杂乱之地 最近在做爬虫,主要是抓取淘宝商品的销量数据。在搜索页很容易就能抓到细览页的数据,主要问题难点是在抓取细览页中,页面的销量及评价数据是通过ajax来动态加载的。这一部分处理比较麻烦。同时又要解决屏蔽的问题。这几天一直在找解决访问。一般的爬虫都是不支持a 阅读全文
摘要:
chrome开发总结(交互/权限/存储) 爬虫 [TOC] 标签(空格分隔): 杂乱之地 经过一翻折腾。还是选择了chrome来做爬虫。主要是为了解决一些ajax加载的问题以及代理的问题。 1.chrome 配置文件 manifest.json 上面这些不是必须的。把自己需要的加上就可以了。基本上后 阅读全文