摘要：
1 目录树 Linux的目录为树形结构（目录树），有一个在文件系统中唯一的“根”，系统的所有文件都作为“根”的子节点存在，如下图所示： 如上图所示，根目录“/”下面有“bin、boot、dev、etc、home、root”等目子录；各子目录存放特定类型的文件，如“boot”下存放开机启动时需要的文件 阅读全文
摘要：
Secure Shell（安全外壳协议，简称SSH）是一种加密的网络传输协议，可在不安全的网络中为网络服务提供安全的传输环境。SSH通过在网络中创建安全隧道来实现SSH客户端与服务器之间的连接。SSH最常见的用途是远程登录系统，人们通常利用SSH来传输命令行界面和远程执行命令。 《维基百科》 1 用 阅读全文
摘要：
Bert模型参数量估算 由于BERT模型用到的是Transformer的编码器部分，因此需要先对Transformer的编码器做参数估算 1 Transformer单独一个编码器（Encoder-block）的参数量估算（忽略偏置、Add&Norm层参数等次要部分）： H为词向量维度，A为自注意力头 阅读全文
摘要：
Transformer架构记录（一、二、三）针对Transformer的Encoder-block部分做了简要介绍，本文作为该系列的最终章，将以Decoder-block介绍结束本系列。 一个完整的Decoder-block的结构如下所示： Decoder-block与Encoder-block的差 阅读全文
摘要：
Transformer架构记录（二）中提到，整个Encoder-block的结构如下图所示： 本文聚焦上图中的Multi-Head Attention模块，即下图所示： 1. self-Attention self-Attention是理解Multi-Head Attention模块的基础，因此需要 阅读全文