02 2018 档案
摘要：本文由知乎《大数据应用与实践》专栏 李呈祥授权发布，版权所有归作者，转载请联系作者！ 新世纪以来，互联网及个人终端的普及，传统行业的信息化及物联网的发展等产业变化产生了大量的数据，远远超出了单台机器能够处理的范围，分布式存储与处理成为唯一的选项。从2005年开始，Hadoop从最初Nutch项目的一
阅读全文
摘要：作者：李呈祥 Flink项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多的人关注Flink项目。本文将深入分析Flink一些关键的技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统的开发者也能有所裨益。 注：本文假设读者对MapRed
阅读全文
摘要：Spark 优缺点分析 以下翻译自Scikit。 The advantages of support vector machines are: （1）Effective in high dimensional spaces.在高维空间表现良好。 （2）Still effective in cases
阅读全文
摘要：概述 线性回归拟合一个因变量与一个自变量之间的线性关系y=f(x)。 Spark中实现了： （1）普通最小二乘法 （2）岭回归（L2正规化） （3）Lasso（L1正规化）。 （4）局部加权线性回归 （5）流式数据可以适用于线上的回归模型，每当有新数据达到时，更新模型的参数，MLlib目前使用普通的
阅读全文
摘要：在Spark2.0版本中（不是基于RDD API的MLlib），共有四种聚类方法： （1）K-means （2）Latent Dirichlet allocation (LDA) （3）Bisecting k-means（二分k均值算法） （4）Gaussian Mixture Model (GMM
阅读全文
摘要：在Spark2.0版本中（不是基于RDD API的MLlib），共有四种聚类方法： （1）K-means （2）Latent Dirichlet allocation (LDA) （3）Bisecting k-means（二分k均值算法） （4）Gaussian Mixture Model (GMM
阅读全文
摘要：EM算法概述 （1）数学之美的作者吴军将EM算法称之为上帝的算法，EM算法也是大家公认的机器学习十大经典算法之一。EM是一种专门用于求解参数极大似然估计的迭代算法，具有良好的收敛性和每次迭代都能使似然函数值单调不减的优良性质。在统计机器学习、自然语言处理等领域应用非常广泛，许多统计学算法都是EM算法
阅读全文
摘要：在Spark2.0版本中（不是基于RDD API的MLlib），共有四种聚类方法： （1）K-means （2）Latent Dirichlet allocation (LDA) （3）Bisecting k-means（二分k均值算法） （4）Gaussian Mixture Model (GMM
阅读全文
