随笔分类 -  关于数据分析那点事儿

用数据来量化分析，远比直观经验好的多
[爬虫资源]各大爬虫资源大汇总,做我们自己的awesome系列
摘要：  大数据的流行一定程序导致的爬虫的流行，有些企业和公司本身不生产数据，那就只能从网上爬取数据，笔者关注相关的内容有一定的时间，也写过很多关于爬虫的系列，现在收集好的框架希望能为对爬虫有兴趣的人，或者想更进一步的研究的人提供索引，也随时欢迎大家star,fork ,或者提issu 阅读全文
posted @ 2016-10-11 09:56 爱吃猫的鱼 阅读(2511) 评论(2) 推荐(0) 编辑
(9)分布式下的爬虫Scrapy应该如何做-关于ajax抓取的处理(一)
摘要：转载请注明出处：http://www.cnblogs.com/codefish/p/4993809.html最近在群里频繁的被问到ajax和js的处理问题，我们都知道，现在很多的页面都是用动态加载的技术，这一方面带来了良好的页面体验，另一方面，在抓取时或者或少的带来了相当大的麻烦，因为我们知道直接g... 阅读全文
posted @ 2015-11-25 11:38 爱吃猫的鱼 阅读(7574) 评论(10) 推荐(5) 编辑
数学之美--关于图论引申出来的爬虫构想
摘要：转载请注明出处：http://www.cnblogs.com/codefish/p/4971664.html 在了解爬虫之前，我一直认为是简单的对单一网站的采集，无非就是对于一个域名内定点的数据抓取而已，2012年买了《数学之美》后，就一直没有正儿八经的看，或者当时看了之后，由于自己的水平有限，压根... 阅读全文
posted @ 2015-11-17 15:47 爱吃猫的鱼 阅读(857) 评论(1) 推荐(0) 编辑
(7)分布式下的爬虫Scrapy应该如何做-关于伪装和防Ban的那点事儿
只有注册用户登录后才能阅读该文。
posted @ 2015-11-10 16:18 爱吃猫的鱼 阅读(234) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示