针对深度学习（神经网络）的AI框架调研

针对深度学习（神经网络）的AI框架调研

 

在我们的AI安全引擎中未来会使用深度学习（神经网络），后续将引入AI芯片，因此重点看了下业界AI芯片厂商和对应芯片的AI框架，包括Intel（MKL CPU）、谷歌（TPU）、NVidia（GPU）、华为和寒武纪，发现所有的AI芯片都支持TensorFlow框架。

 

从收集到的信息来看：

1、目前TensorFlow在智能边缘计算中是主流，例如TensorFlow提供了移动端应用开发API，参考资料中包含了示例。

2、AI芯片对深度学习的加速效果，其中NVIDIA官方例子加速18倍，Intel MKL为26-72倍。

3、所有的AI芯片都使用TensorFlow框架，华为和寒武纪的AI芯片还支持其他AI框架模型，比如facebook的caffe2、亚马逊的MxNet。

4、AI芯片最初只支持模型推理（用训练好的模型做预测）而不能做训练，但Intel和谷歌的TPU目前既能推理又能训练 。

5、其他AI框架，如亚马逊的MxNet通过自己的云服务提供GPU处理，微软的CNTK亦如此。

 

参考资料：

https://www.leiphone.com/news/201712/q7TOPUfPdFWFr6O3.html 深度 | AI芯片之智能边缘计算的崛起

http://www.cnblogs.com/bonelee/p/8317909.html 深度学习利器：TensorFlow在智能终端中的应用——智能边缘计算，云端生成模型给移动端下载，然后用该模型进行预测

https://developer.nvidia.com/tensorrt 基于NVIDIA自己的AI芯片，比原生的TensorFlow快18倍

https://software.intel.com/zh-cn/articles/build-and-install-tensorflow-on-intel-architecture?language=en 在英特尔架构上构建和安装 TensorFlow

https://software.intel.com/zh-cn/articles/tensorflow-optimizations-on-modern-intel-architecture  现代英特尔架构上的 TensorFlow优化，内含英特尔至强处理器（22 个内核）和英特尔至强融核处理器（68 个内核）上优化后TensorFlow性能对比结果

http://nooverfit.com/wp/tensorflow%E5%A6%82%E4%BD%95%E5%85%85%E5%88%86%E4%BD%BF%E7%94%A8%E6%89%80%E6%9C%89cpu%E6%A0%B8%E6%95%B0%EF%BC%8C%E6%8F%90%E9%AB%98tensorflow%E7%9A%84cpu%E4%BD%BF%E7%94%A8%E7%8E%87%EF%BC%8C%E4%BB%A5/ TensorFlow如何充分使用所有CPU核数，提高TensorFlow的CPU使用率，以及把Intel的MKL包编译进TensorFlow中，利用Intel的MKL CPU加速

http://www.cnbeta.com/articles/tech/613639.htm  Google第二代TPU 既能推理又能训练