摘要： 从今天起，我的博客园可能就不用了，感谢博客园将近三年的陪伴，在博客园上认识了很多朋友，也正是基于博客园这个平台，让我走进了现在这个行当，真的非常感谢！即日起，我的博客搬家到我在GitHub上的地址：mrchor.github.io。希望大家还能一如既往地支持我，在新的博客站，我将不仅仅讨论技术，也可 阅读全文

摘要： Spark是目前最火爆的大数据计算框架，有赶超Hadoop MapReduce的趋势。因此，趁着现在还有大多数人不懂得Spark开发的，赶紧好好学习吧，为了使不同的开发人员能够很好的利用Spark，Spark官方提供了不同开发语言的API，本文以大数据经典入门案例WordCount为例，开发多个版本 阅读全文

摘要： 在大数据MapReduce作业开发中，我们经常会遇到一些大小表的join，这是如果这个小表足够“小”的话，我们可以使用进行“map-join-side”，这要就可以有效的降低reduce端的压力，但是在常用的JDK的集合中的Map有些许鸡肋，因此，各路大神们针对这个问题开发出了不同的集合框架，用以替 阅读全文

摘要： 很多同学包括我，在刚开始接触机器学习算法的时候，我们在碰到一个新的问题/需求/目的，不知道该用哪种算法来考虑这个问题。最近我也在看一些机器学习的东西，为了把Python再拿起来，所以选择了Python界著名的机器学习库——sklearn，sklearn比较人性化，对于以上困惑做出了自己的解答，原图地 阅读全文

摘要： 1、Linux命令实现单词计数并排序 解析：awk是一个非常强大的文本编辑命令，参数F是自定义的分隔符，这里的分隔符是空格，后面跟着awk的程序语言，其意思是打印每一行中的每个单词。 sort排序。 uniq命令去重，参数c是统计每行数据的频率，格式为：频率 空格 行内容。 sort排序，参数t是自 阅读全文

摘要： 由于笔者最近在进行毕业论文的准备，且毕业论文中需要用到Python版本的机器学习库——scikit-learn。所以最近三天一直在Windows上部署这个框架，终于部署成功了。。。 首先打开加州大学底下一个实验室的网站，下载以下安装包： 1、Numpy+MKL：http://www.lfd.uci. 阅读全文

摘要： 运行shell脚本提示“syntax error near unexpected token for((i=0;i<$length;i++))”： 原因是因为Linux下的换行符是 \n 而你在secureCRT或者其他工具编写shell脚本的时候，使用的是window下的换行符：\r\n 所以需要 阅读全文

摘要： driverClassName = com.mysql.jdbc.Driver url = jdbc:mysql:///bigdata username = root password = 823714 connectionProperties="useUnicode=yes;characterEncoding=utf8;" 阅读全文

摘要： 很多框架都会依赖jdk中的tools.jar，但是maven仓库中却没有. 如在eclipse+maven编写mapreduce代码，就会报Missing artifact　jdk.toos:jdk.toos:jar:1.6 如何解决这个问题呢，只需要在项目的pom.xml 文件中加入以下配置，指定 阅读全文

摘要： 1、实在是在安装CDH的时候无法安装成功的话，只有重新启动了，下面给大家分享一个神器，按照这个脚本应该差不多就能卸载干净，然后重新安装，写一个脚本，内容如下，救命的神器呀： 阅读全文