摘要:
阅读全文
摘要:
1.ID3选择最大化Information Gain的属性进行划分 C4.5选择最大化Gain Ratio的属性进行划分规避问题:ID3偏好将数据分为很多份的属性解决:将划分后数据集的个数考虑进去entropy(其中RF-relative frequency)Information Gain->ID3potential information of partitionGain Ratio->C4... 阅读全文
摘要:
CART树的构建:$function\ cart(D)$--$D$为数据1.如果到了终止条件(如:所有x都相同,或所有y都相同,或到了指定深度),返回叶子节点2.选择 分割方式,将数据分为左树$D_l$、右树$D_r$ 2部分3.$cart(D_l),cart(D_r)$分割方式(cart的分割方式不固定,此处采用decision stump):选择所有decision stump中,综合不纯度最... 阅读全文
摘要:
当模型复杂度上升时,可控制参数变多,VC dimension变大,当VC dimension过大时,虽然Ein很小,但是Eout很大,产生overfitting比喻:开车开太快 模型太复杂,VC维上升路况差 存在noise路况了解有限 N有限来自为知笔记(Wiz) 阅读全文
摘要:
vc约等于可调节参数的个数来自为知笔记(Wiz) 阅读全文
摘要:
对于d维的数据集,vc = d+1证明:$vc \geq d+1$ : 存在d+1个点可以被H shatter构造矩阵(注意加上$w_0$对应的$x_0$)注意x可逆,构造$w=X^{-1}y$,有$Xw=y-----sign(Xw)=y$$vc \leq d+1$ : 任意d+2个点不能被H shatter注意x向量是d+1维的(注意还有$x_0$),所以对与第d+2各向量,一定可以表示... 阅读全文
摘要:
由vc bound可以知道:$P(\exists h\in H~s.t~|E_{in}(h)-E_{out}(h)|>\epsilon)\\ \leq 4M_H(2N)exp(-\frac{1}{8}\epsilon^2N)\\ \leq 4(2N)^{k-1}exp(-\frac{1}{8}\e... 阅读全文
摘要:
结论:当有break point时,$m_H(N)=O(N^{k-1})$bounding function:当break point = k,时成长函数$m_H(N)$的上限这样可以忽略假设集的不同,只考虑break point=k,N个点时,最多有几种0,1的组合(任意的k各点不能shatter... 阅读全文
摘要:
$P(|E_{in}-E_{out}|>\epsilon) \leq 2Me^{-2\epsilon^2N}$当M小时,能够保证Ein和Eout差不多,但是找不到比较小的Ein当M很大时,能找到比较小的Ein,但是不能保证Ein和Eout差不多所以,希望可以找到一个比较适合的M $m_H$表示和... 阅读全文
摘要:
1.差的数据集的概念BAD D单个H,在抽出的样本(数据集上),满足$P(|E_{in}-E_{out}|>\epsilon)\leq 2e^{-2\epsilon^2N}$ 考虑以下情况,如果抽出的都是绿球(数据集D),此时$E_{in} =0 $,而实际上和$E_{out}$差别很大,此时称此数... 阅读全文
摘要:
统计学场景:一个罐子中有红球和绿球,红球比例$v$未知,数量未知,如何得到红球比例?方法---随机抽样N个球,在其中红球占比为$u$由hoeffding可以知道:$P(|u-v|>\epsilon)\leq 2e^{-2\epsilon^2N}$对应到机器学习分类问题:目标函数为$f(x)$,现要估... 阅读全文
摘要:
题:如果资料D线性可分,PLA如何保证最后能得到最优解。 思路:假设$w_f$能够分割资料D,$w_{t+1}$经过更新$w_{t+1}=w_t + y_{n(t)}x_{n(t)}$后,与$w_f$更接近 两个向量更接近,则有$Z=\frac{w_f^Tw_t}{||w_f||||w_t||}$越... 阅读全文
摘要:
阅读全文
摘要:
阅读全文
摘要:
阅读全文
摘要:
三种收敛、中心极限定理、大数定理、delta方法 阅读全文
摘要:
A.对于连续随机变量来说,单个点的概率是没有意义的,都为0B.PDF值没有边界,可以大于1C.Q1,Q2(中分位),Q3分别为使F取得1/4,1/2,3/4的x值D.重要的离散分布 点分布、离散均匀分布【书中的{1,2,3,...k}不都取到,而是指1/2+1/3+1/6和为1的】 伯努... 阅读全文
摘要:
分部积分法放射粒子符合possion分布,证明 阅读全文