背景
在模型训练过程中,需要记录很多数据,例如损失值,评价指标,使用的参数等,这里介绍一下可以使用的工具,方便后续使用。
工具
-
Pandas + openpyxl:pandas 是一个强大的数据处理库,而 openpyxl 是一个用于读写 Excel 文件的库。你可以使用 pandas 来创建和操作数据框(DataFrame),然后使用 openpyxl 将数据保存到 Excel 文件中。
-
TensorBoard + TensorBoardX (或 PyTorch 的 SummaryWriter):如果你使用的是 TensorFlow 或 PyTorch,可以利用 TensorBoard 来记录训练过程中的各种指标,并使用 tensorboardX 或 SummaryWriter 将这些指标导出为 CSV 文件,然后再转换为 Excel 文件。
-
(\(\diamondsuit\))MLflow:MLflow 是一个开源平台,用于管理整个机器学习生命周期,包括实验跟踪、模型打包和部署。它可以记录训练过程中的各种指标,并支持将这些指标导出为多种格式,包括 CSV 和 Excel。
-
(\(\diamondsuit\))Weights & Biases (W&B):Weights & Biases 是一个流行的实验跟踪工具,它可以帮助你记录和可视化训练过程中的各种指标。你可以将这些指标导出为 CSV 文件,然后再转换为 Excel 文件。
-
Scared:Sacred 是一个用于配置和组织实验的库,它提供了一种结构化的方式来记录实验配置和结果。Sacred 可以与 MongoDB 配合使用来存储实验数据,并且可以通过 OMNIBoard 进行可视化。
-
(\(\diamondsuit\))TensorBoard + torch.utils.tensorboard:TensorBoard 是 TensorFlow 的可视化工具,但它也可以与 PyTorch 结合使用。PyTorch 提供了 torch.utils.tensorboard 模块,可以方便地将训练过程中的数据记录到 TensorBoard 中。
可以将其丢进ai里面生成使用的代码,这里记录一下工具的选项,\(\diamondsuit\)表示使用简单,明了。