随笔分类 - Python
多GPU监测
摘要：相信大家在跑实验时都希望让GPU二十四小时跑，但有时候实验在半夜才结束，为了避免晚上接着跑实验需要半夜起床，同时为了不浪费计算资源，我们可以对多个GPU进行实时监测，当监测到GPU空闲时可以接着跑其他实验。 import os import sys import time cmd0 = 'CUDA_
Fastformer: Additive Attention Can Be All You Need
摘要：创新点： 本文根据transformer模型进行改进，提出了一个高效的模型，模型复杂度呈线性。 主要改进了注意力机制，出发点在于降低了注意力矩阵的重要程度，该方法采用一个（1*T）一维向量替换了原始T*T大小的注意力矩阵。 注意力结构图： 在这里，输入同样通过不同的线性映射得到Q,K,V，然后通过Q
Branchformer
摘要：创新点： 为了改善模型性能，在ASR任务中一种有效的方法是融合全局和局部特征，为了使模型更加灵活，本文提出的方法不同与Comformer。 通过实验发现，模型对局部和全局特征提取在每一层发挥了不同的作用，并发现不同层局部和全局重要程度不同。 模型结构图： 通过模型结构图可以发现，Branchform
关于对Comformer中卷积层的理解
摘要："""ConvolutionModule definition.""" from torch import nn class ConvolutionModule(nn.Module): """ConvolutionModule in Conformer model. Args: channels (
一维卷积
摘要：torch.nn.Conv1d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True) 主要参数说明： in_channels：在文本应用中，即为词向量的维度 out_
Python中slf和cls的区别，@staticmethod 和@classmethod区别
摘要：在python的类方法中，默认使用的第一个参数是cls，而在实例方法中，一般使用self作为第一个参数。 一句话描述：self是类（Class）实例化对象，cls就是类（或子类）本身，取决于调用的是那个类。 两处比较： (1)比较一般类方法中的self和cls的区别： 一般来说，使用某个类的方法，需
程序在后台运行
摘要：有些程序我们在打开时，会一直占用我们的终端，而且终端还不能关掉，所以这时候我们就需要让程序在后台运行有些程序我们在打开时，会一直占用我们的终端，而且终端还不能关掉，所以这时候我们就需要让程序在后台运行。 1.命令： nohup python -u run.py > run.log 2>&1 & 参数
GPU排队脚本，当GPU空闲就触发脚本
摘要：本文为解决GPU计算资源充分利用，避免经常去查看GPU是否空闲，通过脚本检测GPU使用情况，当GPU利用率较低时来跑其他实验 首先新建一个py文件，将代码复制到文件中，对cmd的值表示我们需要执行的程序实验： import os import sys import time cmd = 'CUDA_
CentOS安装kenlm
摘要：注意：下面缺少任何一个依赖包都不能安装成功，建议在线安装，让系统自动配置。CentOS和Ubuntu安装的包有所不同 Linux中离线下载软件包网站，主要提供RPM包：https://rpm.pbone.net/ ，https://pkgs.org/ 1、安装boost yum install bo
《RETHINKING POSITIONAL ENCODING IN LANGUAGE PRE-TRAINING》TUPE论文复现
摘要：论文《TUPE》复现 原有的注意力计算公式拆分为四部分后发现，中间两部分（word-to-position, position-to-word）对于识别并没有什么明显的作用，并且第一部分（word-to-word）和第四部分论文提出将位置信息与词嵌入信息分离开选择各自的权重矩阵来更新参数，提出的原因
MNIST手写识别Python（详细注释）
摘要：import argparse #参数解析包 import torch #张量、加减乘除等运算，相当于numpy import torch.nn as nn #包括各种函数 import torch.nn.functional as F #包括激活函数，损失函数等 import torch.opti
submile text3常用快捷键
摘要：submile text3常用快捷键 Ctrl+shift+P 打开命令行窗口 esc 退出命令框或程序运行框 Ctrl+Z 撤销，倒退 Ctrl+Y 恢复撤销 Ctrl+B 运行程序 Ctrl+Break 中断程序 Ctrl+Enter 建立下一空白行 程序中需要外界输入值时需要快捷键设置： [
python 基础算法
摘要：1 #算法：解决问题的方法和步骤 2 3 #排序算法 4 #选择排序 5 def select(items, comp = lambda x,y : x <y): 6 #通过隐藏函数lambda判断两个数的大小 7 items = items[:] 8 for i in range(len(item
Python 笔记
摘要：1 #生成式 2 prices = { 3 'meat' : 543.2, 4 'duck' : 123.56, 5 'dog' : 45.67, 6 'horse' : 78.55, 7 'miao' : 123.55 8 } 9 price = {key : value for key, val
Pyton 练习题2
摘要：1 #显示跑马灯文字 2 import os 3 import time 4 def main(): 5 content = str(input('输入显示内容：')) 6 while True: 7 os.system('cls') 8 print(content) 9 time.sleep(0.
Python 知识点练习
摘要：1 #函数应用：计算两个正数的最大公约数和最小公倍数 2 def function1(n1,n2): 3 if n1 > n2: 4 n1 , n2 = n2 , n1 5 for i in range(n1,0,-1): 6 if n1 % i == 0 and n2 % i == 0: 7 re
pycharm 汉化
摘要：1.安装好Pycharm并打开Pycharm 2.打开File,找到Settings并打开 3.打开Settings中的Pulgins，选择Marketplace 搜索'chinese'： 下载安装后重启软件汉化成功
Python笔记
摘要：PYTHON 学习之旅 基础知识... 3 列表list：... 5 生成器：... 6 元组tuple: 7 切片：... 7 字典dict 7 set 8 惰性计算... 8 迭代：... 8 迭代器：... 9 If语句... 10 函数... 10 map()函数... 11 reduce(
