Lv.的博客

在Kaggle免费使用GPU训练自己的神经网络

 

Kaggle上有免费供大家使用的GPU计算资源，本文教你如何使用它来训练自己的神经网络。

Kaggle是什么

Kaggle是一个数据建模和数据分析竞赛平台。企业和研究者可在其上发布数据，统计学者和数据挖掘专家可在其上进行竞赛以产生最好的模型。

在Kaggle，你可以：

  1. 参加竞赛赢取奖金。Kaggle上会发布一些赛题，做的好会赢得奖金。

  2. 下载数据集。Kaggle上包含了众多的数据集供大家免费下载，常见的数据集都可以在上面找到。

  3. 学习别人的代码。类似GitHub，你可以在Kaggle上学习冠军的代码来强化数据科学技能。

  4. 免费使用计算资源。Kaggle的Kernels功能允许你在浏览器编程、并通过服务器的GPU来加速你的计算。

  5. 讨论交流学习。Kaggle上有论坛交流功能，允许你与相同的爱好者一起交流学习。

  6. 学习Python、ML、Pandas、DL等技能。Kaggle上提供了免费的微课给大家学习，供初学者快速入门学习。

本篇文章侧重点是第4条，教你如何将自己的代码丢到Kaggle上训练。

注意，Kaggle目前只支持Python和R两种编程语言。

Kernel硬件配置

GPU：Nvidia Tesla P100-PCIE-16GB 1.3285GHz

GPU连续使用时间：6h

CPU Frequency： 2.3GHz

RAM：14GB

Disk：5.2GB

使用教程

基本介绍

  1. 登陆Kaggle官网，注册账号并登陆。在Kaggle注册账号是免费的。

  2. 点击导航栏的Kernels

  1. 点击页面上部的New Kernel来创建一个新的Kernel。粗略地说Kernel就是一个代码的工程项目。

  1. 点击左边的Script来创建一个脚本。这个脚本就是你项目运行的主要文件。

  1. 顶部的标题栏的功能。

  1. 侧边状态栏的主要功能。Sessions显示资源占用状态，Versions显示版本管理，Draft Environment显示你上传数据（注意：上传后该区域只读，不能写），Settings显示设置（如GPU开关、包的管理）

  1. 底部状态栏功能。

用完Kernel建议点击类似电源键的按钮关闭Kernel哦（关闭后所有输出文件将会丢失）

  1. 代码输入窗口。它已预先帮你输入一些示例代码，可以删掉重写。

使用示例

我们以Tensorflow平台的YoloV3-Tiny模型在数据集VOC2007的训练为例，介绍如何使用Kaggle训练我们的模型，并保存结果，将模型下载到本地。

提示：Kaggle已经为我们准备好常用的环境了，无需我们从头搭建开发环境。一般直接用就好了。

文件准备

首先我们要在本地弄好相关文件，再上传到Kaggle上去。

本地的准备参考这篇：【AI实战】动手训练自己的目标检测模型（YOLO篇）

有关YOLO参考这篇：用YOLO实现目标检测

然后按照实际情况修改train.py的相关参数，例如将batch_size改成128，epochs改小一点等等。

注意训练时间不能超过6个小时，否则Kaggle会自动关闭你的Kernel。

并且Keras版的YOLO的标签文件与Darknet版的不同，标签文件要重新生成。然后执行：

1
 
cat 2007_train.txt 2007_val.txt > train.txt

即我们使用验证集和训练集混合起来一起训练，最后替换下路径前缀。

但有以下几点要注意下：

  1. 上传后不能在线修改你上传的东西，只能删除该压缩包（删除方法见第三节：再次训练）后重新上传（如果数据量巨大，重新上传十分费时）。所以最好需要确保第一次上传的东西就没有问题，否则更改会比较繁琐。

  2. 上传时，建议是分别上传几样东西（分别压缩打包上传）：

    • 模型的配置文件
    • 训练的数据文件
    • 模型.h5文件

上传方式：点击右侧白色的侧边状态栏中的+ Add Data按钮，在弹出的窗口中，点击右上角的Upload，然后选择文件去上传（只能上传单个文件，这就是为什么叫你打包压缩的原因）。

上传后，Kaggle会自动帮你解压缩，点击右边的文件树，点选其中的一个文件，会在左侧弹出白色的文件管理弹窗，弹窗的上端会显示该文件的路径：

点击中间的那个蓝色的按钮你可以复制路径到剪切板中。

当你上传了多个压缩包或文件时，路径的命名规则一般是这样的：

  • 对于上传了文件：../input/数据集的名字/上传的文件名字
  • 对于上传了压缩包：../input/数据集的名字/压缩包的名字/压缩包底下的路径

  1. 其中上述的 图片路径的.txt文件 不能单纯按照【AI实战】动手训练自己的目标检测模型（YOLO篇）来做，你要将路径替换成上述第二点描述的那样。因为你执行的主脚本文件并不是在你上传的东西里面，你需要使用类似../input/XXX/XXX的格式来调用你上传的东西。

  2. 对于脚本中的文件路径也是如此，类似于上述的第三点来做。否则会提示会找不到你上传的文件。实际上有关路径的一切东西都要按照上述的路径规则来做，否则就找不到文件。

  3. 如果提示import时找不到文件，这是因为你上传的包没有加入系统变量，那么你需要：

    1
    2
    3
    		 
    import sys
    kaggle_path_prefix = "../input/keras-yolov3tiny-voc2007/keras-yolo3/"
    sys.path.append(kaggle_path_prefix)

这里请根据你的实际情况修改上述kaggle_path_prefix的值。

这里kaggle_path_prefix目录下需要包含那个你刚刚上传的压缩包里名叫yolo3的Python包的文件夹。

  1. 保存文件的路径请直接填写文件名，像这样：
1
 
model.save_weights('trained_weights_final.h5')

这是因为input文件夹是只读的，且保存到其他地方去无法输出下载，你也找不到输出的文件。况且当Kernel关闭后你的一切东西就会丢失。

运行并提交

点击顶部标题栏亮起的蓝色Commit按钮，以运行全部代码并保存结果，最后它会保存你输出的文件。

如果允许的窗口不慎点没了，可以右侧的Versions中，点击：

重新弹出运行的窗口（除非你点了Cancel commit）。

运行完毕后，点击：

来打开Kernel页面。

如果你有输出文件，在左侧的：

点击Output就可以切换到输出的文件列表，然后就可以下载你输出的文件啦，选中你想要的模型下载即可。

如果运行出错，请点击上图所示的Log查看错误日志（有必要时点击Download Log按钮下载日志到本地），按照错误提示修复错误即可。

再次训练

只需将原本的模型文件数据集删除，然后再添加上传上去，再次Commit就好了。

删除数据集的步骤：

  1. 点击数据集旁边的那个红色的叉叉，将数据集从当前Kernel移除

  2. 点击自己的头像，进入My Profile页面，然后点击Datasets

  1. 然后点击Settings

  1. 最后点击Delete Dataset并确认即可

赏点钱吧(≧∇≦)ﾉ
posted @ 2019-08-30 15:52  Avatarx  阅读(14399)  评论(0)  编辑  收藏  举报