摘要：1、海量日志数据，提取出某日访问百度次数最多的那个IP。 首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用h 阅读全文

摘要：在我们的对2016年大数据行业的预测文章《2016年大数据将走下神坛拥抱生活 资本青睐创业机会多》里，我们曾经提到“在2016年，防止网站数据爬取将变成一种生意。”。今天我找到了来自”BSDR“的一篇文章，文章里主要介绍了常见的反爬虫应对方法，下面是正文。 常见的反爬虫 这几天在爬一个网站，网站做了 阅读全文

摘要：一、课程介绍 斯坦福大学于2012年3月在Coursera启动了在线自然语言处理课程，由NLP领域大牛Dan Jurafsky 和 Chirs Manning教授授课：https://class.coursera.org/nlp/ 以下是本课程的学习笔记，以课程PPT/PDF为主，其他参考资料为辅， 阅读全文

摘要：相比于爬虫框架，知乎小爬虫，更加适合初学者，尤其是想要了解爬虫技术细节、实现自己编写爬虫需求的初学者。 1. 谈爬虫工程师的价值 大数据时代已到，数据越来越具有价值了，没有数据寸步难行，有了数据好好利用，可以在诸多领域干很多事，比如很火的互联网金融。从互联网上爬来自己想要的数据，是数据的一个重要来源 阅读全文

摘要：利用情感分析技术对用户的评论、社会媒体上发表的言论进行分析，可以帮助我们得知用户的情感倾向性，比如喜欢什么（篮球、购物、哪款手机等等）。基于此，我们可以做有针对性的产品或者服务营销，往往会有事半功倍的效果。 以下面的例子来说：​ 微博是现代网络社会沟通的重要工具，以新浪微博为例，很多大型零售商会建立 阅读全文