摘要:
阅读全文
摘要:
背景 需要解决本地访问内部集群中各台机器上的内部web服务,但是内部集群不能直接访问,只能通过edge node节点跳转。 前提:edge node可以通过ssh方式访问,在edge node上可以访问内部集群的各个服务。 解决方法 通过ssh隧道连接edge node,并开启动态代理隧道,同时在本 阅读全文
摘要:
notebook方式运行spark程序是一种比较agile的方式,一方面可以体验像spark shell那样repl的便捷,同时可以借助notebook的作图能力实现快速数据可视化,非常方便快速验证和demo。notebook有两种选择,一种是ipython notebook,主要针对pyspark 阅读全文
摘要:
神经网络模型 每个node包含两种操作:线性变换(仿射变换)和激发函数(activation function)。 其中仿射变换是通用的,而激发函数可以很多种,如下图。 MLLib中实现ANN 使用两层(Layer)来对应模型中的一层: AffineLayer 仿射变换: output = W · 阅读全文
摘要:
参考'LogisticRegression in MLLib' (http://www.cnblogs.com/luweiseu/p/7809521.html) 通过pySpark MLlib训练logistic模型,再利用Matplotlib作图画出分类边界。 最终结果: 阅读全文
摘要:
SVD分解: $A=U\Sigma V^T$,变换:$\hat{A}=A\cdot V=U\Sigma$ 分解时先计算$A^TA=U\Sigma^2U^T$,再进行SVD分解 SVD分解: 调用Breeze的SVD库,得到$U,\Sigma$ Explained Variance Ratio exp 阅读全文
摘要:
Voting classifier 多种分类器分别训练,然后分别对输入(新数据)预测/分类,各个分类器的结果视为投票,投出最终结果: 训练: 投票: 为什么三个臭皮匠顶一个诸葛亮。通过大数定律直观地解释: 一个硬币P(H)=0.51。大数定律保证抛硬币很多次之后,平均得到的正面频数接近$0.51 \ 阅读全文
摘要:
例子 iris数据训练Logistic模型。特征petal width和petal height,分类目标有三类。 训练结果 模型将特征空间划分结果(画图代码参见 http://www.cnblogs.com/luweiseu/p/7826679.html): ML LogisticRegress算 阅读全文