学海无涯苦作舟_书山有路勤为径

摘要： https://www.jianshu.com/p/444c3ae23035 jupyter notebook --generate-config 阅读全文

摘要： 1. 集群部署方式 standalone Mesos Yarn K8s 2. 基本概念 Application：指的是用户编写的Spark应用程序，包含了含有一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码。 Driver:运行Application的main函数并创建S 阅读全文

摘要： 原因 生产机器默认禁用了ssh密码登录权限。 解决方案一，sshkey 主机一： ssh-keygen -t rsa 将生产的pub文件拷贝到主机二上 主机二： root@spark3:~# cat 1.pub >> .ssh/authorized_keys root@spark3:~# chmod 阅读全文

摘要： 1.为什么要用Lambda Architecture 在大数据处理系统中，数据处理的可靠性和实时性是一对矛盾，往往不可兼得。可靠性是指在任何异常出现的情况下，数据处理都能够做到不重不丢，并且最终得到准确的结果。实时性是指数据从输入到处理完毕输出的时间间隔。一般来说，对于像Hadoop MapRedu 阅读全文

摘要： SVD(singular value decomposition)，翻译成中文就是奇异值分解。SVD的用处有很多，比如：LSA（隐性语义分析）、推荐系统、特征压缩（或称数据降维）。SVD可以理解为：将一个比较复杂的矩阵用更小更简单的3个子矩阵的相乘来表示，这3个小矩阵描述了大矩阵重要的特性 Apri 阅读全文

摘要： 这两篇文章（上，下）已经总结得很好了 http://www.cnblogs.com/pinard/p/6050306.html https://www.cnblogs.com/pinard/p/6053344.html 1. 数学基础 1.信息论的信息熵：Entropy 2.基尼不纯度：Gini i 阅读全文

摘要： 1. SVM核函数概述 在scikit-learn中，内置的核函数一共有4种，当然如果你认为线性核函数不算核函数的话，那就只有三种。 1）线性核函数（Linear Kernel）表达式为：K(x,z)=x∙zK(x,z)=x∙z，就是普通的内积，LinearSVC 和 LinearSVR 只能使用它 阅读全文

摘要： SVM算法要解决的是一个最优分类器的设计问题 线性SVM算法的数学建模 一个最优化问题通常有两个最基本的因素：1）目标函数，也就是你希望什么东西的什么指标达到最好； 分类间隔2）优化对象，你期望通过改变哪些因素来使你的目标函数达到最优。 决策面 在线性SVM算法中，目标函数显然就是那个“分类间隔”， 阅读全文

摘要： 支持向量机(Support Vecor Machine,以下简称SVM)虽然诞生只有短短的二十多年，但是自一诞生便由于它良好的分类性能席卷了机器学习领域，并牢牢压制了神经网络领域好多年。如果不考虑集成学习的算法，不考虑特定的训练数据集，在分类算法中的表现SVM说是排第一估计是没有什么异议的。 参考 阅读全文

摘要： 朴素贝叶斯naive bayes是直接生成方法，也就是直接找出特征输出Y和特征X的联合分布P(X,Y)P(X,Y),然后用P(Y|X)=P(X,Y)/P(X)P(Y|X)=P(X,Y)/P(X)得出。 朴素贝叶斯算法是基于贝叶斯定理与特征条件独立假设的分类方法 这里提到的贝叶斯定理、特征条件独立假设 阅读全文