抓图后处理优化之图优化

抓图后处理优化之图优化

目录

• 背景
• 思路
• 参考资料
  • openvx
  • TensorFlow计算图优化
  • DAG optimization
  • OpenCV G-API
• 抓圖後處理優化特殊需求
• TODO

背景

定义一系列虚拟抓图设置G1，G2，G3,.. GN

每个虚拟抓图对应一系列的抓图和后处理，

Gi = grab(i,1) + .. grab(i,m) + pp(i, 1) +.. + pp(i, k)

如何以最快的时间拿到所有图？

假设: 不同的grab有机会相同，pp有机会相同。这种情况不需要重复处理

思路

把处理用data flow表达的graph表示，该graph的输入为N个Grabsetting，输出为N个image

消除公共子表达式

参考资料

openvx

graph优化

Includes a “graph optimizer” that looks at the entire processing pipeline and removes/replaces/merges functions to improve performance and minimize bandwidth at runtime
https://gpuopen-professionalcompute-libraries.github.io/MIVisionX/amd_openvx/#amd-openvx-amd_openvx
https://github.com/GPUOpen-ProfessionalCompute-Libraries/MIVisionX/blob/master/amd_openvx/README.md

openvx
https://software.intel.com/en-us/openvino-ovx-guide-whats-new-in-this-release#

TensorFlow计算图优化

https://zhuanlan.zhihu.com/p/52019183
Tensorflow也使用了编译原理中常用的3中优化方案 1. 常量折叠 constant folding 2. 内联函数展开 3. 公共表达式折叠CSE（common-subexpression elimination）。

GraphOptimizer类（http://graph_optimizer.cc）

https://zhuanlan.zhihu.com/p/25932160

https://my.oschina.net/u/3800567/blog/2248224

https://www.cnblogs.com/jesse123/p/7017317.html

XLA

XLA(Accelerated Linear Algebra)

内核融合，就是将一个计算图中的节点所对应的内核函数融合成一个函数，使得整个数据流图只需要通过一次函数调用即可完成

DAG optimization

https://www.google.com/search?newwindow=1&sxsrf=ACYBGNTM-33yYNB6t-YxjZgxn5z3px1mng%3A1571064645210&ei=RYukXY-xDNHahwPkv4HICA&q=dag+optimization&oq=DAG+optimi&gs_l=psy-ab.3.0.0i19j0i8i30i19j0i5i30i19l2j0i8i30i19j0i10i30i19.4196264.4199390..4200506...0.0..0.64.587.10......0....1..gws-wiz.......35i39j0i67j0j0i131j0i12j0i12i30j0i30j0i12i30i19j0i30i19j0i12i10i30i19.pNwN6S1iSEI

OpenCV G-API

https://docs.opencv.org/4.0.0/d3/d7a/tutorial_gapi_anisotropic_segmentation.html

他的api设计很值得参考

抓圖後處理優化特殊需求

• 常見的要有:公共值表達式消除，常量折疊 --》有现成的思路，参考tensorflow
• 復雜的要有:tiling，把几个表达式一起求值，内核融合 --》？？
• 特殊的有：部分表达式求值。抓到一張圖之後立刻trigger相關的後處理 --》 ？？自己写应该可以，但是用openvx不确定行不行

TODO

• 研究openvino
• 研究amd openvx
• 自己写一个简单的graph executor。基于openvx接口
• 研究openvx是否支持部分表达式求值