2017 年 7月随笔档案 - 合唱团abc

【effective c++】构造/析构/赋值运算

摘要：条款5：了解c++默默编写并调用哪些函数如果自己没声明，编译器会声明一个copy构造函数，一个copy赋值操作符和一个析构函数。此外，如果没有声明任何构造函数，编译器会声明一个default构造函数（如果已经声明了构造函数，编译器不会创建default构造函数）。编译器生成的所有这些函数都是pub 阅读全文

posted @ 2017-07-30 19:25 合唱团abc 阅读(294) 评论(0) 推荐(0) 编辑

Tips/Tricks in Deep Neural Networks

摘要：转自： http://lamda.nju.edu.cn/weixs/project/CNNTricks/CNNTricks.html 阅读全文

posted @ 2017-07-28 16:14 合唱团abc 阅读(149) 评论(0) 推荐(0) 编辑

GoogLeNet系列解读

摘要：GoogLeNet Incepetion V1 这是GoogLeNet的最早版本，出现在2014年的《Going deeper with convolutions》。之所以名为“GoogLeNet”而非“GoogleNet”,文章说是为了向早期的LeNet致敬。 Motivation 深度学习以及神阅读全文

posted @ 2017-07-28 16:13 合唱团abc 阅读(328) 评论(0) 推荐(0) 编辑

神经网络训练技巧：训练参数初始化、Drop out及Batch Normalization

摘要：参数初始化： xavier初始化： https://blog.csdn.net/VictoriaW/article/details/73000632 条件：优秀的初始化应该使得各层的激活值和梯度的方差在传播过程中保持一致初始化方法：假设激活函数关于0对称，且主要针对于全连接神经网络。适用于tan 阅读全文

posted @ 2017-07-28 15:53 合唱团abc 阅读(911) 评论(0) 推荐(0) 编辑

【paddle学习】词向量

摘要：http://spaces.ac.cn/archives/4122/ 关于词向量讲的很好上边的形式表明，这是一个以2x6的one hot矩阵的为输入、中间层节点数为3的全连接神经网络层，但你看右边，不就相当于在

w_{i j}

$w_{ij}$ 这个矩阵中，取出第1、2行，这不是跟所谓的字向量的查表（从表中找出对应字阅读全文

posted @ 2017-07-26 20:30 合唱团abc 阅读(892) 评论(0) 推荐(0) 编辑

【paddle学习】图像分类

摘要：https://zhuanlan.zhihu.com/p/28871960 深度学习模型中的卷积神经网络(Convolution Neural Network, CNN)近年来在图像领域取得了惊人的成绩，CNN直接利用图像像素信息作为输入，最大程度上保留了输入图像的所有信息，通过卷积操作进行特征的提阅读全文

posted @ 2017-07-26 15:09 合唱团abc 阅读(1888) 评论(0) 推荐(1) 编辑

2017找工作_算法题相关面经

摘要：100G的数组排序，只有2G内存，怎么排序？ http://www.oschina.net/question/165717_25135?sort=time&p=1 先哈希，后取余分成小文件，然后每次读取两个小文件，比较队首元素，然后就排序了不创建临时变量交换两个数的值： http://blog.c 阅读全文

posted @ 2017-07-25 22:33 合唱团abc 阅读(208) 评论(0) 推荐(0) 编辑

2017找工作_计算机基础相关面经

摘要：进程与线程的区别读写锁同步异步 memcpy存在的问题（如果复制的地址有重叠，可能出现问题）？用memmove为什么不会有这种问题？请实现？（memmove开辟了一块临时空间） linux文件词频统计：http://blog.csdn.net/dlutbrucezhang/article/det 阅读全文

posted @ 2017-07-25 22:32 合唱团abc 阅读(186) 评论(0) 推荐(0) 编辑

2017找工作_机器学习相关面经

摘要：1、什么是boosting tree 2、GBDT 3、L1和L2正则为何可以减弱over-fitting，L1和L2正则有什么区别？从贝叶斯的角度来看, 正则化等价于对模型参数引入先验分布 http://www.cnblogs.com/ljygoodgoodstudydaydayup/p/648 阅读全文

posted @ 2017-07-25 22:25 合唱团abc 阅读(365) 评论(0) 推荐(0) 编辑

【paddle学习】识别数字

摘要：Softmax回归(Softmax Regression) 最简单的Softmax回归模型是先将输入层经过一个全连接层得到的特征，然后直接通过softmax 函数进行多分类输入层的数据

X

$X$ 传到输出层，在激活操作之前，会乘以相应的权重

W

$W$ ,并加上偏置变量

b

$b$ ，具体如下： $ y_i = {s 阅读全文

posted @ 2017-07-25 10:24 合唱团abc 阅读(301) 评论(0) 推荐(0) 编辑

fasttext原理

摘要：模型的优化目标如下：其中，

< x_{n}, y_{n} >

$<x_n,y_n>$ 是一条训练样本，

y_{n}

$y_n$ 是训练目标，

x_{n}

$x_n$ 是normalized bag of features。矩阵参数A是基于word的look-up table，也就是A是词的embedding向量。

A x_{n}

$Ax_n$ 矩阵运算的数学意义是将word的embed 阅读全文

posted @ 2017-07-22 10:06 合唱团abc 阅读(1883) 评论(0) 推荐(0) 编辑

Word2vector原理

摘要：词向量：用一个向量的形式表示一个词词向量的一种表示方式是one-hot的表示形式：首先，统计出语料中的所有词汇，然后对每个词汇编号，针对每个词建立V维的向量，向量的每个维度表示一个词，所以，对应编号位置上的维度数值为1，其他维度全为0。这种方式存在问题并且引发新的质疑：1）无法衡量相关词之间的距阅读全文

posted @ 2017-07-19 20:48 合唱团abc 阅读(2974) 评论(1) 推荐(0) 编辑

各种模型适用场景

摘要：KNN适用情景：需要一个特别容易解释的模型的时候。比如需要向用户解释原因的推荐算法。贝叶斯适用情景：需要一个比较容易解释，而且不同维度之间相关性较小的模型的时候。可以高效处理高维数据，虽然结果可能不尽如人意。决策树适用情景：因为它能够生成清晰的基于特征(feature)选择不同预测结果阅读全文

posted @ 2017-07-16 16:51 合唱团abc 阅读(873) 评论(0) 推荐(0) 编辑

LightGBM

摘要：Optimization in speed and memory usage Many boosting tools use pre-sorted based algorithms[1][2](e.g. default algorithm in xgboost) for decision tree 阅读全文

posted @ 2017-07-14 16:25 合唱团abc 阅读(1189) 评论(0) 推荐(0) 编辑

集成学习--(摘自西瓜书)

摘要：集成学习通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能，对“弱学习器” 尤为明显。弱学习器常指泛化性能略优于随机猜测的学习器。集成学习的结果通过投票法产生，即“少数服从多数”。个体学习不能太坏，并且要有“多样性”，即学习器间具有差异。即集成个体应“好而不同”。假设基分类器的错误率阅读全文

posted @ 2017-07-07 16:32 合唱团abc 阅读(3009) 评论(0) 推荐(1) 编辑

聚类--(摘自西瓜书)

摘要：一、聚类性能度量通常我们希望聚类结果的“簇内相似度”（intra-cluster similarity）高且“簇间相似度”（inter-cluster similarity）低。聚类性能度量大致有两类：一类是将聚类结果与某个“参考模型”（reference model）进行比较，称为“外部指标”（阅读全文

posted @ 2017-07-07 15:24 合唱团abc 阅读(2291) 评论(0) 推荐(0) 编辑

【深入理解计算机系统】链接

摘要：静态链接器以一组可重定位目标文件和命令行参数作为输入，生成一个完全链接的可以加载和运行的可执行目标文件作为输出。为了构造可执行文件，链接器必须完成两个主要任务： 1、符号解析：目标文件定义和引用符号，符号解析将每个符号引用刚好和一个符号定义联系起来 2、重定位：编译器和汇编器生成从地址0开始的代码和阅读全文

posted @ 2017-07-07 14:33 合唱团abc 阅读(268) 评论(0) 推荐(0) 编辑

进程地址空间

摘要：内核除了管理本身的内存之外，还必须管理用户空间中进程的内存，即进程地址空间。一、内存描述符内核使用内存描述符结构体表示进程的地址空间，该结构包含了和进程地址空间有关的全部信息，内存描述符由mm_struct结构体表示。 mmap和mm_rb这两个不同数据结构体描述的对象是相同的：该地址空间中的全阅读全文

posted @ 2017-07-06 15:06 合唱团abc 阅读(210) 评论(0) 推荐(0) 编辑

特征选择

摘要：一、为什么做特征选择二、特征选择的常用方法 2. 1 Filter Filter方法是选定一个指标来评估特征，根据指标值来对特征排序，去掉达不到足够分数的特征。这类方法只考虑特征X和目标Y之间的关联，相对另两类特征选择方法Wrapper和Embedded计算开销最少，特征选择过程与后续学习器无关。阅读全文

posted @ 2017-07-05 15:11 合唱团abc 阅读(423) 评论(0) 推荐(0) 编辑

k-svd字典学习，稀疏编码

摘要：1. K-SVD usage: Design/Learn a dictionary adaptively to betterfit the model and achieve sparse signal representations. 2. Main Problem: Y = DX Where Y 阅读全文

posted @ 2017-07-04 16:55 合唱团abc 阅读(486) 评论(0) 推荐(0) 编辑

Proximal Gradient Descent for L1 Regularization(近端梯度下降求解L1正则化问题)

摘要：假设我们要求解以下的最小化问题：

m i n_{x} f (x)

$min_xf(x)$ 如果

f (x)

$f(x)$ 可导，那么一个简单的方法是使用Gradient Descent (GD)方法，也即使用以下的式子进行迭代求解：

x_{k + 1} = x_{k} - a Δ f (x_{k})

$x_{k+1} = x_k - a\Delta f(x_k)$ 如果

Δ f (x)

$\Delta f(x)$ 满足L-Lipsc 阅读全文

posted @ 2017-07-04 16:40 合唱团abc 阅读(2882) 评论(0) 推荐(0) 编辑

机器学习面试知识点总结(不断补充中)

摘要：http://www.cnblogs.com/zuochongyan/p/5407053.html https://www.analyticsvidhya.com/blog/2016/09/40-interview-questions-asked-at-startups-in-machine-lea 阅读全文

posted @ 2017-07-04 16:17 合唱团abc 阅读(441) 评论(0) 推荐(0) 编辑

伙伴算法与slab算法

摘要：伙伴算法: 1.将空闲页面分为m个组,第1组存储2^0个单位的内存块,,第2组存储2^1个单位的内存块,第3组存储2^2个单位的内存块,第4组存储2^3个单位的内存块,以此类推.直到m组. 2.每个组是一个链表,用于连接同等大小的内存块. 3.伙伴块的大小是相等的,并且第1块和第2块是伙伴,第三块和阅读全文

posted @ 2017-07-04 15:26 合唱团abc 阅读(401) 评论(0) 推荐(0) 编辑

合唱团abc

07 2017 档案

公告

搜索

常用链接

我的标签

随笔分类 (377)

随笔档案 (380)

阅读排行榜

评论排行榜

推荐排行榜

最新评论