wangssd

摘要： 序列标注（Sequence Tagging）是NLP中最基础的任务(输入序列和输出序列长度相等)，应用十分广泛，如分词、词性标注（POS tagging）、命名实体识别（Named Entity Recognition，NER）、关键词抽取、语义角色标注（Semantic Role Labeling 阅读全文

摘要： Seq2Seq，就是指一般的序列到序列的转换任务，比如机器翻译、自动文摘等等，这种任务的特点是输入序列和输出序列是不对齐的，如果对齐的话，那么我们称之为序列标注，序列标注任务也可以理解为序列到序列的转换。 左边是输入的 encoder，它负责把输入（可能是变长的）编码为一个固定大小的向量，这个可选择 阅读全文

摘要： BERT的全称是Bidirectional Encoder Representation from Transformers，是Google2018年提出的预训练模型，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上 阅读全文

摘要： masked mutil-head attetion mask 表示掩码，它对某些值进行掩盖，使其在参数更新时不产生效果。Transformer 模型里面涉及两种 mask，分别是 padding mask 和 sequence mask。其中，padding mask 在所有的 scaled do 阅读全文

摘要： Bag-of-words模型，BOW模型（词袋模型）假定对于一个文档，忽略它的单词顺序和语法、句法等要素，将其仅仅看作是若干个词汇的集合，文档中每个词汇的出现都是独立的，不依赖于其它词汇是否出现。也就是说，文档中任意一个位置出现的任何单词，都不受该文档语意影响而独立选择的。 基于词袋模型的文本离散化 阅读全文

摘要： 模型算法(最难，模型结构与训练方法) 数据（最耗时，数据与模型效果之间的关系） 算力（GPU显卡+模型量化） 模型参数量、训练数据量： 模型参数量决定 整个模型的理论效果 训练数据量决定 整个模型的实际效果 多模态：用于表示某种信息的模式（图片、文字、语音、视频） 通过各种预训练模型将信息的不同模式 阅读全文

摘要： 链接：https://www.zhihu.com/question/585468191/answer/2905219147 optim.SGD是PyTorch中的一个优化器，其实现了随机梯度下降（Stochastic Gradient Descent，SGD）算法。在深度学习中，我们通常使用优化器来 阅读全文

摘要： Android Studio可以使用java编写Android客户端 Android Studio + sqlite（数据库） sqlite致力于为单个应用程序和设备提供本地数据存储，更适合提供本地文件存储，或为每天几十万点击量的网站提供数据支持。 Android客户端+基于Spring的Java后 阅读全文

摘要： 1.选择合适的模型架构 总结：当开始一个新的工程时，试着复用已经有效果的模型 1）首先，选择一个已经被广泛使用和建立起来的模型架构来先让其正常工作。可以在以后再建立一个定制化的模型。 2）模型架构一般都具有多种超参数，这些超参数决定了模型的尺寸和其他一些细节（如，层数，层 宽，激活函数的类型），因此 阅读全文

摘要： PCI（小区物理编号） PCI = PSS + 3*SSS 一共504种（主、辅同步信号） PSS的取值范围为（0/1/2） SSS的取值范围为（0~167） 下行RS（Reference Signal）参考信号，也成导频信号 RSRP，参考信号信号功率 作用：信号质量的评估 通俗解释：发送一个双方 阅读全文