背景

在模型训练过程中,需要记录很多数据,例如损失值,评价指标,使用的参数等,这里介绍一下可以使用的工具,方便后续使用。

工具

  • Pandas + openpyxl:pandas 是一个强大的数据处理库,而 openpyxl 是一个用于读写 Excel 文件的库。你可以使用 pandas 来创建和操作数据框(DataFrame),然后使用 openpyxl 将数据保存到 Excel 文件中。

  • TensorBoard + TensorBoardX (或 PyTorch 的 SummaryWriter):如果你使用的是 TensorFlow 或 PyTorch,可以利用 TensorBoard 来记录训练过程中的各种指标,并使用 tensorboardX 或 SummaryWriter 将这些指标导出为 CSV 文件,然后再转换为 Excel 文件。

  • (\(\diamondsuit\))MLflow:MLflow 是一个开源平台,用于管理整个机器学习生命周期,包括实验跟踪、模型打包和部署。它可以记录训练过程中的各种指标,并支持将这些指标导出为多种格式,包括 CSV 和 Excel。

  • (\(\diamondsuit\))Weights & Biases (W&B):Weights & Biases 是一个流行的实验跟踪工具,它可以帮助你记录和可视化训练过程中的各种指标。你可以将这些指标导出为 CSV 文件,然后再转换为 Excel 文件。

  • Scared:Sacred 是一个用于配置和组织实验的库,它提供了一种结构化的方式来记录实验配置和结果。Sacred 可以与 MongoDB 配合使用来存储实验数据,并且可以通过 OMNIBoard 进行可视化。

  • (\(\diamondsuit\))TensorBoard + torch.utils.tensorboard:TensorBoard 是 TensorFlow 的可视化工具,但它也可以与 PyTorch 结合使用。PyTorch 提供了 torch.utils.tensorboard 模块,可以方便地将训练过程中的数据记录到 TensorBoard 中。

可以将其丢进ai里面生成使用的代码,这里记录一下工具的选项,\(\diamondsuit\)表示使用简单,明了。

posted on 2024-12-02 09:50  蔚蓝色の天空  阅读(14)  评论(0编辑  收藏  举报