摘要： 1. ASR的发展历史 发展 技术萌芽 技术突破 产品化 迭代更新 应用发展 贝尔实验室，识别10个英文数字(模板匹配)，特定说话人 识别词汇量：1k IBM Via-Voice；剑桥HTK系统 智能家电 技术/算法发展 孤立词/少量词汇识别（模板+模型） HMM GMM DNN 基础设施发展 现代 阅读全文

摘要： 1. CNN、RNN、Transformer谁做NLP特征抽取器？ 语义特征提取能力： transformer 长距离特征捕获能力：RNN \ Transformer > CNN 任务综合特征抽取能力： 机器翻译中Transformer 并行计算能力及运行效率：transformer 1.1 RNN 阅读全文

摘要： 用decoder的输入做Query（y_i），用encoder的输出去做key和value(X) 1. 引入 抛弃RNN，只用attention 2. Transformer ：Attention is All You Need 你不需要RNN，你只需要attention就可以参数化语言模型 还是有 阅读全文

摘要： Seq2seq的思想和应用 Encoder-decoder第一篇：Learning Phrase Representations using RNN Encoder-Decoder for Statis Machine Translation Seq2seq：sequence to sequence 阅读全文

摘要： 一、RNN RNN适合应用于序列，变长的句子。 1.引入 z为线性变化，a为激活函数 2.函数近似语言模型*（近似定理） 前馈的输入的长度是有限的依赖问题，FNN太宽（也就是0/1就可以构成一个windows，但不会这么做） 引入RNN能更好的学习有历史依赖关系的情况*（序列有前后依赖关系） 3.R 阅读全文

摘要： 一、句子的表示 1.向量空间模型 BOW、one-hot、tf-idf（主题模型，可降维） 2.无监督的深度语义 进行降维、对句子进行语义表示 2.1自回归AR，错位预测 用RNN，相当于达到了用上文预测下文的作用。 2.2自编码AE 信息压缩-->信息放大（类似seq2seq的encoder和de 阅读全文

摘要： 一、NLP概念 1.1 文本消歧：多模态、上下文信息 1.2 应用：问答系统 情感分析（产品评论、事件监测、舆情监控、股票价格预测） 15年之前 vs 15年之后： 机器翻译（很多好的模型都从机器翻译中来） 自动摘要 信息抽取（成熟）-->自动问答系统中的一个子模块 对话系统-->集大成者。 用简单 阅读全文

摘要： 聚类，与其说他是机器学习，不如说是数据挖掘，对数据直接进行处理 前提假设： 假设你的数据分布是均匀的，不希望你的数据是稀疏或密集时候，用k-means是不理想的；对异常值比较敏感，对初始化也很敏感。 假设数据特征之间的联合分布是椭圆的，这个条件在真实世界很难满足。 K-means算法： 初始化 ：随 阅读全文

摘要： 集成学习方法（Ensemble Method） 1.Majority Voting 不同的模型 1.1 hard voting mode ：取众数 1.2 为什么做majority voting？ 1.3 soft voting 2.Bagging（Boostrap Aggregating） 数据b 阅读全文

摘要： 线性判别分析（LDA） 监督学习 1.LDA进行分类 2.LDA进行降维 连接作为投影：中间会有重叠 3.Kernel LDA 但是并不想把所有的x直接投影到特征空间，因为回增加计算量和内存，借鉴SVM的思路 阅读全文