老杨的博客

摘要： 之前一直使用VNC在远程集群上进行Spark程序开发，但是网络的不稳定以及集群时常升级让人头疼。在这里我在自己的Mac上搭建单机Spark开发环境，作为学习开发已经足够。Linux系统用户也可以参考。一、本机环境Macbook pro retina with 8G memory二、准备工作JDK1.... 阅读全文

摘要： 大家好，下面为大家分享的实战案例是K-频繁相机挖掘并行化算法。相信从事数据挖掘相关工作的同学对频繁项集的相关算法比较了解，这里我们用Apriori算法及其优化算法实现。首先说一下实验结果。对于2G，1800W条记录的数据，我们用了18秒就算完了1-8频繁项集的挖掘。应该还算不错。首先给出题目：本题的... 阅读全文

摘要： 大家好，好久没没更新Spark类容了，主要是最近考试比较多。今天先给大家展示一个实战案例，这个案例是我在今年参加第一届高校云计算应用创新大赛时技能赛第四题——莎士比亚文集词频统计并行化算加法。PS:感谢师兄辉哥，真大神!题目是这样的（这里截图展示出来）：a在这里停词表的作用是对于在该表中的单词不予以... 阅读全文

摘要： 大家好，下面为大家分享的实战案例是K-频繁相机挖掘并行化算法。相信从事数据挖掘相关工作的同学对频繁项集的相关算法比较了解，这里我们用Apriori算法及其优化算法实现。首先说一下实验结果。对于2G，1800W条记录的数据，我们用了18秒就算完了1-8频繁项集的挖掘。应该还算不错。给出题目：本题的较第... 阅读全文

摘要： 大家好，好久没没更新Spark类容了，主要是最近考试比较多。今天先给大家展示一个实战案例，这个案例是我在今年参加第一届高校云计算应用创新大赛时技能赛第四题——莎士比亚文集词频统计并行化算加法。PS:感谢师兄辉哥，真大神！题目是这样的（这里截图展示出来）：在这里停词表的作用是对于在该表中的单词不予... 阅读全文

摘要： 最近着手学习ios，学校的ios课程也要考核了。所以spark源码阅读的博客编写暂时停了下来，后期会补上。如题，这种情况让人很不爽。其实解决方法只需要在iphone中：设置-通用-按钮形状。关闭按钮形状即可。另外推荐大家看斯坦福大学的公开课：ios7应用开发。很不错，相关的代码实现我编写好了已经上传... 阅读全文

摘要： 一、本机环境 Macbook pro Retina Scala 11.4 Jdk 1.6.05(目前，在Mac下安装IDEA社区版本只支持jdk1.6版本) Git 2.2.0（点击这里直接安装既可） 准备就绪二、Spark源码编译 我下载的是1.1.1版本的源码，大概139M。在终端中使... 阅读全文

摘要： 在官方文档http://docs.jboss.org/hibernate/orm/4.3/manual/en-US/html/ch01.html#tutorial-firstapp-configuration中获取SessionFacory方法会报错如下：Exception in thread "m... 阅读全文