红猪飞天侠

摘要： $RSS(f)=\sum_i^N \left(y_i-f(x_i)\right)^2$ 当数据量足够大时，数据存在相同$x_i$，不同$y_{il},l=1\cdots t$ 则得到的f即为条件均值$E(y|X=x)$的无偏估计 ... 阅读全文

摘要： 题目准备 $x_i\sim N(0,1)$，有$\sum_i^n x_i^2 \sim \chi^2(n)$其中$n$称为自由度，卡方分布的均值即其自由度$x_i\sim N(\mu_i,\sigma_i^2)$，有$\sum_i a_ix_i \sim N(\sum_i a_i\mu_i,\sum... 阅读全文

摘要： Statical modelregression$y_i=f_{\theta}(x_i)+\epsilon_i,E(\epsilon)=0$1.$\epsilon\sim N(0,\sigma^2)$ 2.使用最大似然估计$\rightarrow$最小二乘 $y\sim N(f_{\theta}(... 阅读全文

摘要： 题目 描述$y_i=x_i^T\beta+\epsilon_i$$\epsilon_i\simN(0,\sigma^2)$已有训练集$\tau$，其中$X:n\times p,y:n\times 1,\epsilon:n\times 1$使用最小二乘得到$\hat{\beta}=\left(X^T... 阅读全文

摘要： ##curse of dimensionality- 输入在p维立方体中符合均匀分布，如果需要覆盖比例r的体积，需要每个维度上$e_p(r)=r^{1/p}$ $e_{10}(0.01)=0.63,e_{10}(0.1)=0.8$- 输入在p维立方体中负荷均匀分布，p=1时，1000个点达到的采样... 阅读全文

摘要： 本文基于《[X-means](https://www.cs.cmu.edu/~dpelleg/download/xmeans.pdf)》和《[BIC-notes](https://github.com/bobhancock/goxmeans/blob/master/doc/BIC_notes.pdf... 阅读全文

摘要： 在讲完最小二乘（linear regression）和K近邻后，进入本节。引入符号：$X\in R^p$ X为维度为p的输入向量$Y\in R$ Y为输出，实数$P(X,Y)$ 为两者的联合概率分布$f(X)$ 为预测函数，给定X，输出Ya.使用squared error loss(L2)作为损失函... 阅读全文

摘要： 课程主要实用内容：1.spark实验环境的搭建2.4个lab的内容3.常用函数4.变量共享1.spark实验环境的搭建(windows)a. 下载，安装visualbox 管理员身份运行;课程要求最新版4.3.28，如果c中遇到虚拟机打不开的，可以用4.2.12，不影响b. 下载，安装vagrant... 阅读全文

摘要： 该函数官方的api，说的不是很明白：aggregate(zeroValue, seqOp, combOp)Aggregate the elements of each partition, and then the results for all the partitions, using a given combine functions and a neutral “zero value.”T... 阅读全文

摘要： 本文为《Kernel Logistic Regression and the Import Vector Machine》的阅读笔记是技法课的课外阅读Abstract:基于KLR kernel logistic regression，能自然延伸到多分类问题提供属于各类的概率也有类似support v... 阅读全文