摘要：
简介 图像分类对网络结构的要求，一个是精度，另一个是速度。这两个需求推动了网络结构的发展。 resneXt：分组卷积，降低了网络参数个数。 densenet：密集的跳连接。 mobilenet：标准卷积分解成深度卷积和逐点卷积，即深度分离卷积。 SENet：注意力机制。 简单起见，使用了[1]的代码 阅读全文
摘要：
简介 语义分割：给图像的每个像素点标注类别。通常认为这个类别与邻近像素类别有关，同时也和这个像素点归属的整体类别有关。利用图像分类的网络结构,可以利用不同层次的特征向量来满足判定需求。现有算法的主要区别是如何提高这些向量的分辨率，以及如何组合这些向量。 几种结构 全卷积网络FCN：上采样提高分割精度 阅读全文
摘要：
简介 VGG, resnet和inception是3种典型的卷积神经网络结构。 VGG采用了3 3的卷积核，逐步扩大通道数量 resnet中，每两层卷积增加一个旁路 inception实现了卷积核的并联，然后把各自通道拼接到一起 简单起见，直接使用了[1]的代码来测试 resnet，然后用[2],[ 阅读全文
摘要：
强化学习 基本概念 强化学习需要学习一个从环境状态到智能体行动的映射，称为智能体的一个策略，使得环境回报最大化。 其环境通常采用 MDP 来定义。 马尔可夫决策过程：$MDP = \{ S, A, P, R \} $ 状态转移的回报函数$R: S\times A\times S \to REAL$ 阅读全文
摘要：
前馈网络 定义 神经网络：$<V,E,\sigma,w>, E\subseteq V\times V,w:V\times V\to R, \sigma:V\times R\to R $， 输出函数$f(v)$递归定义为$$\begin{aligned}f(v)&=x(v)&,if\,\nexists 阅读全文
摘要：
基本概念 卷积运算 定义：$f(i,j,k)=\sum_{m,n}g(i-m,j-n,k)h(m,n),y(i,j)=\sum_kw_{k}f(i,j,k)$ 平移不变、深度线性叠加。特别在1*1核的时候，为深度的线性变换。 稀疏交互(sparse interactions)：核的大小（m,n的范围 阅读全文
摘要：
要点 熵：$H(X)=E_{X\sim P}[I(X)]=-E_{X\sim P}[\log P(x)]$ 相对熵：$D_{p||g}=E[\log\frac{p(x)}{g(x)}]\geqslant 0$。 互信息：$I(X;Y)=\sum_{x,y} P(x,y) \log \frac {P( 阅读全文
摘要：
简介 可学习理论针对于监督学习，从问题空间$X\times Y$中采样，输出一个预测函数$h:X\to Y$，来判定X与Y之间的对应关系。 主要难点在于： 因此学习问题定义为一个三元组$(S,H,L)$。未知数据分布$(x,y)\sim D$的情况下，可学习理论给出了得到预测函数集合中最优函数，需要 阅读全文
摘要：
内容 形式语言与自动机：正则语言、上下文无关语言、图灵机 可计算性：可判定、可归约 计算复杂性：时间、空间、难解性 正则语言 确定有穷自动机DFA：$M=<Q,\Sigma,\delta,q_0,F>,\delta:Q\times\Sigma\rightarrow Q$ M 接受字符串：$w=w_1 阅读全文
摘要：
概率图模型分类 有向图：静态贝叶斯、动态贝叶斯（隐马尔可夫模型） 无向图：马尔可夫网络（条件随机场、玻尔兹曼机） 隐马尔可夫模型 评估问题 $HMM<S,O,\Theta>, \Theta=<\pi ,A, B>$ 隐藏状态S，观测状态O，初始状态的概率分布$\pi$，隐藏状态转移概率A，观测状态转 阅读全文