计算 FP8 （E5M2）所能表示的所有数
概述
E5M2 格式的分析
1. 符号位
- 1 位，用于表示正负号。因此，正数和负数分别可以有各自的表示。
2. 指数位
- 5 位，可以表示 (2^5 = 32) 个不同的指数值。
3. 尾数位
- 2 位，可以表示 (2^2 = 4) 个不同的尾数值。
组合情况的基本计算
根据组合的乘法原理：
- 不考虑符号的情况下，指数和尾数的组合情况总共是 (32 \times 4 = 128) 种。
- 加上符号位，这些组合可以分别表示正数和负数，因此总共有 (128 \times 2 = 256) 种不同的二进制组合。
特殊情况和规范化
但是，FP8（E5M2）格式中有一些特殊情况，这些情况会影响到实际能表示的数值：
-
规范化数 (Normalized Numbers)：
- 对于大部分指数值，数值是规范化的，即尾数的隐含位为 1。这会占用大部分的表示范围。
-
非规范化数 (Denormalized Numbers)：
- 当指数为最小值（通常是全 0）时，数值是非规范化的，这种情况下尾数部分不再有隐含的 1 位，这些表示的范围有限且密集。
-
特殊值：
- 最大的指数值通常保留用于表示特殊值，如无穷大 (
+∞,-∞) 和非数字 (NaN)，这些组合不用于表示实际数值。
- 最大的指数值通常保留用于表示特殊值，如无穷大 (
实际可表示的数值数量
由于这些特殊情况：
- 指数为全 1 的情况通常表示
NaN或Infinity，这会减少可表示数值的数量。 - 指数为全 0 的情况可能表示非规范化数，而非规范化数的数量较少，精度也较低。
结论
虽然你计算的组合数量是正确的——在理论上 E5M2 格式可以表示 256 种不同的二进制组合，但在实际应用中，这些组合并不全部用于表示不同的数值。部分组合被用于表示特殊的数值（如 NaN 和 Infinity），并且规范化和非规范化数的存在也会使得实际可表示的数值数量有所变化。
因此，FP8（E5M2）可以表示的数值总数并不完全等于 256，而是略少于这个值。实际的可表示数值数量取决于如何处理这些特殊值和表示方式。
计算
列出 FP8（E5M2）所有可表示的浮点数涉及到指数、尾数的组合，并考虑到符号位、规范化数、非规范化数以及特殊值（如 NaN 和 Infinity）。我们可以逐步构建所有可能的浮点数值。
FP8（E5M2）的结构
- 符号位 (1 bit)：1 表示负数，0 表示正数。
- 指数 (5 bits)：5 位表示指数，值范围为 0 到 31。
- 尾数 (2 bits)：2 位表示尾数，值范围为 0 到 3。
规则
公式1
[
(-1)^{\text{sign}} \times 2^{\text{exp} - \text{bias}} \times (1 + \text{fraction} \times 2^{-2})
]
公式2
[
(-1)^{\text{sign}} \times 2^{1 - \text{bias}} \times (\text{fraction} \times 2^{-2})
]
列出所有可表示的浮点数
为了完整列出所有数值，我会编写一个简单的 Python 代码来生成这些数值。代码如下：
import numpy as np
def fp8_e5m2():
bias = 15
values = []
# Iterate over all combinations of sign, exponent, and fraction
for sign in [0, 1]:
for exp in range(32): # 5-bit exponent
for frac in range(4): # 2-bit fraction
if exp == 0b11111: # Special case for exponent all ones (NaN or Infinity)
if frac == 0:
value = float('inf') if sign == 0 else float('-inf')
else:
value = float('nan')
elif exp == 0: # Denormalized numbers (exponent all zeros)
value = (-1)**sign * 2**(1 - bias) * (frac * 2**-2)
else: # Normalized numbers
value = (-1)**sign * 2**(exp - bias) * (1 + frac * 2**-2)
values.append(value)
return np.array(values)
# Get all possible FP8 (E5M2) values
fp8_values = fp8_e5m2()
# Sort and print the unique values
for v in np.sort(np.unique(fp8_values)):
print(v)
结果
这个代码会生成并列出 FP8（E5M2）格式所有可表示的浮点数。由于 FP8 的表示是有限的，这个列表应该可以显示所有正数、负数以及特殊值。
不过，由于平台、环境等原因，执行代码后，输出的 NaN 和 Infinity 的显示可能略有不同。
运行这个代码并查看结果。它将会给出一个排序的、去重的所有 FP8（E5M2）格式可表示的数值列表，包括所有的正数、负数、非规范化数以及特殊值（NaN 和 Infinity）。
