摘要：
2015-05-28 09:30:33,262 INFO [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Created MRAppMaster for application appattempt_1432776438534_0001_... 阅读全文
摘要：
Mapreduce 工作机制图：图中1：表示待处理数据，比如日志，比如单词计数图中2：表示map阶段，对他们split，然后送到不同分区图中3：表示reduce阶段，对这些数据整合处理。图中4：表示二次mapreduce,这个是mapreduce的链式MapReduce组合式，迭代式，链式问题导读：... 阅读全文
摘要：
软件：TortoiseGit-LanguagePack-1.8.9.0-64bit-zh_CN.msi链接:http://pan.baidu.com/s/1gdrGbF9密码: ea9qTortoiseGit-1.8.9.0-64bit.msi链接:http://pan.baidu.com/s/1o... 阅读全文
摘要：
一直以来，大数据的使用远远不及大数据收集能力，就起原因主要是目前企业的数据主要分散在不同的系统或组织，大数据战略的杀手锏就是能够更深度的，更丰富的挖掘所有数据系统中的有价值的信息，从而更准确的预测客户行为，发现商业价值，但是目前很难将这些数据移到一个单独的数据存储中，另外，安全和监管问题也得不到保障... 阅读全文
摘要：
问题导读：Commons-logging + Log4j 相结合有什么好处？单独他们Commons-logging 、Log4j有什么不灵活之处？System.out.println()存在什么局限？Log4j日志有几个级别？为什么要使用Log4j？Log即日志,可用于程序监控及调试,当然我们也可以... 阅读全文
摘要：
1.某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？A. 关联规则发现B. 聚类C. 分类D. 自然语言处理2.以下两种描述分别对应哪两种对分类算法的评价标准？(a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。(b)描述有多少比例的小偷给警察抓了的标准... 阅读全文
摘要：
“未来几年，所有的金融企业，包括现在的银行、券商、保险和所有在线上风起云涌做金融生意的运营商，争夺的就是一件事情——那就是国民财富账户。国民财富账户如今是通过什么样的渠道去会聚、去使用、去体验的呢？那就是指尖上的银行。TalkingData不仅拥有移动数据，同时我们跟线上、线下的大型金融企业、金融机... 阅读全文
摘要：
国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, N... 阅读全文
摘要：
1.Windows下配置A.下载JDK，现在企业中大部分使用JDK1.7，没有犹豫，下载sun官网JDK。注：X86是32位系统使用，X64是64位系统使用，不要考虑兼容性，按照自己的系统类型选择相应版本。B.双击运行下载的文件。C.选择目录，注意，如果不想安装在C盘，一定要把Java安装在英文目录... 阅读全文
摘要：
一直没有重视三者之间的通信问题，在此整理一下提问：datanode之间有没有交互？Hadoop安装时ssh如何配置？1.背景知识：在Hadoop系统中，master/slaves/client的对应关系是：master---namenode；slaves---datanode；client---df... 阅读全文