听风居士

摘要： 一：为什么需要Sort-Based Shuffle? 1， Shuffle一般包含两个阶段任务： 第一部分：产生Shuffle数据的阶段(Map阶段，额外补充，需要实现ShuffleManager中的getWriter来写数据(数据可以通过BlockManager写到Memory，Disk，Tach 阅读全文

摘要： 第16课:RDD实战 由于RDD的不可修改的特性，导致RDD的操作与正常面向对象的操作不同，RDD的操作基本分为3大类：transformation，action，contoller 1. Transformation Transformation是通过转化针对已有的RDD创建出新的RDD map( 阅读全文

摘要： 第15课：RDD创建内幕 Spark应用程序运行过程中，第一个RDD代表了Spark应用程序输入数据的来源，之后通过Trasformation来对RDD进行各种算子的转换，来实现具体的算法 Spark中的基本方式： 1) 使用程序中的集合创建 这种方式的实际意义主要用于测试。 2) 使用本地文件系统 阅读全文

摘要： 开篇：spark各种库，sparksql，sparkmachicelearning，等这么多库底层都是封装的RDD。意味着 1：RDD本身提供了通用的抽象， 2：spark现在有5个子框架，sql，Streaming，流式处理，机器学习，图计算，sparkR。可以根据具体领域的内容建模，建第6个库， 阅读全文

摘要： 书评: 个人觉以下三位的书评很好的概括了本书: 1.李开复的书评,成功公式: 才智+勤奋 + 机遇 + 社会环境 = 成功,其中机遇和社会环境是常常被我们忽略的 2.唐骏,我们只要掌握了成功的规律,就能创造缤纷多彩的人生,异类告诉我们成功规律发挥作用的前提条件是我们要正视我们的环境和机遇 1.李开复 阅读全文

摘要： 原创文章，转载请注明:转载自 听风居士的博客http://www.cnblogs.com/zhouyf/首先回顾一下单例模式（Singleton）单例对象（Singleton）是一种常用的设计模式。在Java应用中，单例对象能保证在一个JVM中，该对象只有一个实例存在。这样的模式有几个好处：1、某些... 阅读全文

摘要： 上篇文章讲到一个悖论,这里解开悖论的什么面纱上篇文章地址http://www.cnblogs.com/zhouyf/p/4583351.html「游客没有输入任何新的信息」这个断言是错的。N=1的情形不必说了，显然输入了新信息。对于N>1的情形，要注意，游客必须是当着所有人的面公开做出宣告，如果他是... 阅读全文

摘要： 一个关于数学归纳法的悖论问题：到底是第 N 天有 N 个红眼睛自杀，还是什么都不会发生？修改此问题最早据说是澳大利亚的华裔数学神童陶哲轩在网上贴出来让大家思考，逗大家玩儿的。补题源：http://terrytao.wordpress.com/2008/02/05/the-blue-eyed-isla... 阅读全文

摘要： 引言：尝试用最简单易懂的描述解释清楚机器学习中会用到的拉格朗日对偶性知识，非科班出身，如有数学专业博友，望多提意见！1.原始问题假设是定义在上的连续可微函数（为什么要求连续可微呢，后面再说，这里不用多想），考虑约束最优化问题：称为约束最优化问题的原始问题。现在如果不考虑约束条件，原始问题就是：因为假... 阅读全文