GLU 介绍 ： FLASH：高效 Transformer 解析 (1) GLU (Gated Linear Unit，门控线性单元) Read More
from NLP - 语法纠错不完全调研 一、背景 由于用户在文本输入法，语音输入法使用上的随意性，后续又缺少审核，极易产生语法错误内容。近年来随着自媒体的热潮，人人都是信息的生产者，互联网上语法错误的内容暴增，有分析表明中文网络新闻标题和正文的语法错误率超过 1%，这些语法不通顺的文本极大影响了用 Read More
1. 响应时间 (RT) 响应时间是指系统对请求作出响应的时间。直观上看，这个指标与人对软件性能的主观感受是非常一致的，因为它完整地记录了整个计算机系统处理请求的时间。由于一个系统通常会提供许多功能，而不同功能的处理逻辑也千差万别，因而不同功能的响应时间也不尽相同，甚至同一功能在不同输入数据的情况下 Read More
Linux 中修改用户 UID 和组 GID 的方法 Docker 命令大全 理解 docker 容器中的 uid 和 gid #查看镜像 docker images #docker 镜像启动 成容器 docker run -dit -v /iscsi:/iscsi -v /data:/data - Read More
参考资料： Welcome to Wenet’s documentation! ‒ Wenet documentation https://arxiv.org/pdf/2102.01547.pdf https://arxiv.org/pdf/2012.05481.pdf https://github Read More
转载： 从 Word Embedding 到 Bert 模型 — 自然语言处理中的预训练技术发展史 1. 图像领域的预训练 我们设计好网络结构以后，对于图像来说一般是 CNN 的多层叠加网络结构，可以先用某个训练集合比如训练集合 A 或者训练集合 B 对这个网络进行预先训练，在 A 任务上或者 B Read More
转载本文请注明出处：https://xiaodu.io/ctc-explained 作者：yudonglee 现实应用中许多问题可以抽象为序列学习（sequence learning）问题，比如词性标注（POS Tagging）、语音识别（Speech Recognition）、手写字识别（Hand Read More
来源: https://zhuanlan.zhihu.com/p/147386972 讲的比较细节,各种概念讲的清晰. 代码实现: 参考 https://blog.csdn.net/qq_39516859/article/details/80505981 步骤: 预加重, 高频信号更容易衰减,预加重 Read More
总结一下现阶段用到的asr技术． 1.语言模型 1.1 ngram ,ppl SRILM语言模型格式解读 语言模型srilm基本用法 Read More
SLURM 使用基础教程 目录 [隐藏] 1 文档概述 1.1 文档目的 1.2 术语与缩略语 1.3 参考资料 2 提交作业 2.1 交互模式 2.2 批处理模式 2.3 分配模式 3 查看队列和作业，节点信息 3.1 显示队列 3.1.1 队列状态值 3.1.2 显示队列详细信息 3.1.3 命 Read More
<!-- flowchart 箭头图标 勿删 --> 原文： https://blog.csdn.net/qq_26778411/article/details/89682447 也可以参考： http://vsooda.github.io/2018/03/12/fsmn/ 1.FSMN 综述 由于 Read More
来源：https://blog.csdn.net/capecape/article/details/78623897 RMSE Root Mean Square Error, 均方根误差是观测值与真值偏差的平方和与观测次数 m 比值的平方根。是用来衡量观测值同真值之间的偏差MAE Mean Abso Read More
在处理字幕的时候，linux的编码格式转换很烦。 步骤： 用python先判断 其编码，再用iconv 转编码，再用awk处理格式。 file不能判断吗？file有时不准。 1.python判断编码 $ cat t1.py # -*- coding:utf8 -*- import sys #f1=o Read More
翻译: https://arxiv.org/pdf/1811.07453.pdf ABSTRACT 开源软件的可用性在语音识别和深度学习的普及中发挥了重要作用。例如，Kaldi 现在是用于开发最先进的语音识别器的既定框架。 PyTorch 用于使用 Python 语言构建神经网络，并且由于其简单性和 Read More
关于n-gram 语言模型,大部分在这篇博客里 记过了, SRILM 语言模型格式解读 , 其实看完了,ngram的大概用法都比较清楚了, 但是关于平滑算法,一直很模糊,就晓得一个"劫富济贫" ,也不知 回退 ,插值,折扣,平滑,都说的什么东西,模模糊糊的,找了很多资料,还是看官方文档吧,看具体公式 Read More
from：awk 调用 shell 命令的两种方法：system 与 print from：awk 调用 shell 命令的两种方法：system 与 print shell 向awk传递命令，这样使用即可： awk -v ... 但反过来呢？awk调用外部命令，同时也传参呢？ awk 中使用的 s Read More
用 scikit-learn 和 pandas 学习线性回归¶ from https://www.cnblogs.com/pinard/p/6016029.html 就算是简单的算法，也需要跑通整个流程，通过一个简单的回归的例子，可以看到： 数据的准备 ，数据的维度？ 用哪个模型，如何训练，如何评价 Read More
主要参考 《统计学习方法》 《机器学习实战》 机器学习：从编程的角度去理解逻辑回归 逻辑回归， 有一种定义是这样的：逻辑回归其实是一个线性分类器，只是在外面嵌套了一个逻辑函数，主要用于二分类问题。这个定义明确的指明了逻辑回归的特点： 一个线性分类器 外层有一个逻辑函数 我们知道，线性回归的模型是求出 Read More
link : https://www.cyberciti.biz/faq/convert-mp3-files-to-wav-files-in-linux/ Install mpg321 or mpg123 Type the following command under Debian / Ubunt Read More
参考 机器学习中常用的矩阵求导公式 再复杂一点的看 矩阵向量求导法则 矩阵求导好像从来没有学过，讲矩阵的课不讲求导，讲求导的课不讲矩阵。像维基百科什么的查找起来又费劲。其实在实际机器学习工作中，最常用的就是实值函数 y 对向量 x 求导。定义如下： 实值函数 y 对矩阵 X 求导： Read More
参考 最小二乘法小结 机器学习：Python 中如何使用最小二乘法 什么是” 最小二乘法” 呢 定义：最小二乘法（又称最小平方法）是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。 作用：利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。 Read More
参考 信息熵是什么？ 交叉熵损失函数原理详解 信息可以量化？ 信息熵，信息熵，怎么看怎么觉得这个 “熵” 字不顺眼，那就先不看。我们起码知道这个概念跟信息有关系。而它又是个数学模型里面的概念，一般而言是可以量化的。所以，第一个问题来了：信息是不是可以量化？ 起码直觉上而言是可以的，不然怎么可能我们觉 Read More
参考 机器学习中的目标函数、损失函数、代价函数有什么区别？ 如何找出幸福感最强的人？什么人幸福感最强，是既有钱（拟合较好，不是最有钱）又活得轻松（模型复杂度低，简简单单生活）的中层阶级。 首先给出结论：损失函数和代价函数是同一个东西，目标函数是一个与他们相关但更广的概念，对于目标函数来说在有约束条件 Read More
0.矩阵表示一种变换，把它看成一列一列的列向量，矩阵变换相当于点不动，基变换，基坐标系变为矩阵的这些列向量。 1.相似矩阵，本质上还是同一个变换，坐标系换了，在坐标系a下的矩阵A，等同于坐标系b下的矩阵B。 P-1AP = B 2.特征值的求法 Ax =lmda x 特征值，特征向量，我们把一个矩阵 Read More
一道作业题： https://www.kaggle.com/c/speechlab-aug03 就是给你训练集，验证集，要求用GMM（混合高斯模型）预测 测试集的分类，这是个2分类的问题。 $ head train.txt dev.txt test.txt ==> train.txt <== 1.1 Read More
参考 SKlearn 库 EM 算法混合高斯模型参数说明及代码实现 和 sklearn.mixture.GaussianMixture 以前的推导内容： GMM 与 EM 算法 记录下常用的参数，以及函数。 参数说明 1. n_components: 混合高斯模型个数，默认为 1 2. covari Read More
主要参考 K-means 聚类算法及 python 代码实现 还有 《机器学习实战》 这本书，当然前面那个链接的也是参考这本书，懂原理，会用就行了。 1、概述 K-means 算法是集简单和经典于一身的基于距离的聚类算法 采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。 该算 Read More
参考 Jupyter Notebook 快速入门 进阶 可看： Jupyter Notebook 的 27 个窍门，技巧和快捷键 Jupyter Notebook（此前被称为 IPython notebook）是一个交互式笔记本，支持运行 40 多种编程语言。在本文中，我们将介绍 Jupyter n Read More
主要参考： word2vec 中的数学原理详解 自己动手写 word2vec Read More
主要参考： word2vec 中的数学原理详解 自己动手写 word2vec 编码的话，根是不记录在编码中的 这一篇主要讲的就是霍夫曼树（最优二叉树）和编码。 参考 快速画出哈夫曼树 / 霍夫曼树 / 最优树 了解其构成。 哈夫曼树及 python 实现 python 代码 构建霍夫曼树 ，获得霍夫 Read More
最近在看词向量了，因为这个概念对于语言模型，nlp都比较重要，要好好的学习一下。把网上的一些资料整合一下，搞个系列。 主要参考： word2vec 中的数学原理详解 自己动手写 word2vec word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工 Read More
将字符串 "PAYPALISHIRING" 以 Z 字形排列成给定的行数： 之后从左往右，逐行读取字符："PAHNAPLSIIGYIR" 实现一个将字符串进行指定行数变换的函数: 示例 1: 示例 2: 结果是： 当然对是没问题的，就是效率比较低。 这道题有个技巧就是不需要管空格，因为他是按行打印的 Read More
最长回文子串问题：给定一个字符串，求它的最长回文子串长度。如果一个字符串正着读和反着读是一样的，那它就是回文串。 给定一个字符串，求它最长的回文子串长度，例如输入字符串'35534321'，它的最长回文子串是'3553'，所以返回 4。 最容易想到的办法是枚举出所有的子串，然后一一判断是否为回文串， Read More
一：背景 给定一个主串（以 S 代替）和模式串（以 P 代替），要求找出 P 在 S 中出现的位置，此即串的模式匹配问题。 Knuth-Morris-Pratt 算法（简称 KMP）是解决这一问题的常用算法之一，这个算法是由高德纳（Donald Ervin Knuth）和沃恩 · 普拉特在 1974 Read More
nvidia-smi 的定义： 基于 NVIDIA Management Library （NVIDIA 管理库），实现 NVIDIA GPU 设备的管理和监控功能 主要支持 Tesla, GRID, Quadro 以及 TitanX 的产品，有限支持其他的 GPU 产品所以我们在常见的 NVIDI Read More
起源： 我们平时用的精度 accuracy，也就是整体的正确率 acc=predict_right_num/predict_num 这个虽然常用，但不能满足所有任务的需求。比如，因为香蕉太多了，也不能拨开人工的一个一个的看它的好坏 (我爱吃啊，想想就心疼)，此时我们就需要有一种方法，代替拨开香蕉这种 Read More
参考 完美二叉树, 完全二叉树和完满二叉树 1. 树 (Tree) 的基本概念 1.1 树的定义 树是由结点或顶点和边组成的 (可能是非线性的) 且不存在着任何环的一种数据结构。没有结点的树称为空 (null 或 empty) 树。一棵非空的树包括一个根结点，还 (很可能) 有多个附加结点，所有结点 Read More
参考： Shell 脚本中信号处理实践 Linux Shell 的信号 trap 功能你必须知道的细节 在 unix 里，可能发生的每一种类型的事件都是由一个独立的信号来描述，每一个信号都是一个小的正整数，如： 名称 值 描述 SIGHUP 1 控制终端发现被挂起或控制进程死亡 SIGINT 2 键 Read More
学习了解一下魔法方法 魔法方法 含义 基本的魔法方法 Read More
介绍一些compose算法，以及这部分的代码实现。 原理部分参考： 走进语音识别中的 WFST（二） 可以看下示例图： 我们先来看一下 Composition 的效果，图（a）和图（b）Composition 后生成了图（c），从这么简单的效果图我们大致可以看出来其实这个操作就是找出满足下面这个条件 Read More