AGI
Artificial General Intelligence
通用人工智能
AIGC
Artificial Intelligence Generated Content
生成式人工智能
CCG
combinatory categorial grammar
组合范畴语法
ERF (误差函数)
在数学中，误差函数（也称之为高斯误差函数，error function or Gauss error function）是一个非基本函数（即不是初等函数），其在概率论、统计学以及偏微分方程和半导体物理中都有广泛的应用。
自变量为x的误差函数定义为：\(erf(x)=\frac{2}{\sqrt{\pi}}\int^{x}_{0}e^{-\eta^2}d\eta\)
且有\(erf(\infin)=1\)和\(erf(-x)=-erf(x)\)
互补误差函数\(erfc(x)\)定义为：\(erfc(x)=1-erf(x)=\frac{2}{\sqrt{\pi}}\int^{\infin}_{x}e^{-\eta^2}d\eta\)
使用场景举例：
gelu激活函数/tf.math.erf
FLOPS
Floating-point operations per second
每秒所执行的浮点运算次数，
例如TFLOPS、Petaflops
Hadamard product (哈达玛积)
设\(A,B\in\mathbb{C}^{m\times n}\)，且\(A=\{a_{ij} \}, B=\{b_{ij}\}\)，称\(m\times n\)矩阵
\(\begin{bmatrix} a_{11}b_{11}& a_{12}b_{12} & ... & a_{1n}b_{1n}\\ a_{21}b_{21}& a_{22}b_{22} & ... & a_{2n}b_{2n}\\ ...& ... & ... & ... \\ a_{m1}b_{m1}& a_{m2}b_{m2} & ... & a_{mn}b_{mn}\\ \end{bmatrix}\)
为矩阵\(A\)与\(B\)的哈达玛积，记作\(A\circ B\)。
Heaviside function (赫维赛德函数)
赫维赛德函数：单位阶跃函数、阶跃函数、开关函数
\(H(t)=\begin{cases} 0,&\text{t<0}\\1, &\text{t >= 0}\end{cases}\)
KL散度
相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量 。在信息理论中，相对熵等价于两个概率分布的信息熵（Shannon entropy）的差值 。
\(KL(P\left | \right | Q) = \int P(x)\log \frac{P(x)}{Q(x)} dx = E_{x \sim P}(\log P(x)-\log Q(x))\)
vanilla
指标准的、常见的、原始提出的、未被魔改的事物。
例如vanilla Transformer、vanilla LSTM、vanilla SGD等
