现在很多算法都使用了深度学习算法,这就带来一个问题:测试素材的需求量很大。这是一些AI测试与其他测试很重的一个区别。所以测试的工作就不仅仅是原来的一些测试,还包括素材的相关工具,具体来说有:素材的采集和整理,采集需求文档,素材清洗标准,素材check。今天就主要来谈谈关于素材检查的一些思考。

  素材检查就是检查check采集的素材是否满足测试的要求。这就要求前期的采集需求文档要写的很明确,需求文档不能只是一些笼统的说说,要具体到采集哪些case,采集的数量要求,人数要求,每个人要做多少case。在实际执行过程中,并不是每个人把所有的case都要做完,这样冗余比较多,而且在采集的时候执行起来也很有难度。因此要对每个人的case进行分类或者正交。

  上面说的是素材check的一些基本工作,下面说一下check时候一些更深入的思考。

  首先在进行check之前,心里面要对case,以及各种会影响算法效果的因素(比如距离、光线、遮挡、表情、角度等等)了然于胸。这样在check的时候才能做到游刃有余。check的一项很重要的工作就是发现采集过程中的问题,以便在下次采集的时候即是改正。

  其次在check素材的工作也是帮助我们进一步加上对项目的理解,因为算法处理的就是这些采集的素材,而这些素材也是根据这个项目的case采集的,因此素材check能帮助我们更加主观的去理解这些case,这比excel表中的case要直观的多。对case的理解深入了,对项目的理解就也更加深入了,对于接下来的测试有很大帮助。

  再次,check素材的时候,也不是单单检查素材的质量,更需要在检查的时候进行思考,比如case的设计是不是合理,对于新同学还可以思考为什么要设计这样的工作,设计其他的动作可以吗?这样可以更快的理解项目。通过查看一张张的图片,更有助于我们进行一些发散思维。通过check素材,反过来再来改善我们的case设计,这样循环迭代,是的case设计和采集越来越完善。

  最后,根据一些实际情况,还可以进行一些其他的思考。比如说同时采集了2D和3D的素材,那么在检查的时候通过图片就能很直观的看到他们素材的差别,进一步思考就是3D相对于2D有什么优势,有什么劣势,这些优/劣势具体变现在哪些方面,在进一步思考可以建议算法将3D和2D结合起来,去处理一些2D难以解决问题,或者3D难以解决的问题,这样就可以从素材的角度提供一些合理及建议,通过这些思考我们测试的能力和专业度就得到的很大的提升。