推理部署概述

推理部署概述

人工智能算法的重要能力，是可对未知的新数据做出预测，而所依据的则是在已知数据上训练出的模型。因为这个过程与人面对问题时依据经验思考推导后得出结论相类似，所以在人工智能领域又被称为推理（Inference）。

所以对于深度学习而言，训练和推理是两个不同的行为。将新数据输入训练得到的模型，得到输出结果，就是预测或者推理。看起来推理阶段会比训练更加简单，因为从原理上只需要对神经网络完成前向计算即可。所以对一个可支持训练的深度学习框架来讲，天然是可以完成推理计算的。在飞桨paddle下也可非常容易实现。

但在实际应用中，推理阶段可能会面临和训练完全不一样的硬件环境，当然也对应着不一样的计算性能要求。这需要使训练得到的模型，能在具体生产环境中可以正确、高效地实现推理功能，对应这一环节称为部署（Deployment）。

对工业级部署而言，要求的条件往往非常繁多而且苛刻，不是每个深度学习框架都对实际生产部署上能有良好的支持。面对的挑战主要有：

• 更广泛的硬件环境适配。部署时考虑到成本因素，以及具体生产环境特性，并不是像训练阶段一样都是高性能服务器。例如使用手机识别人脸，需要在安卓/IOS移动终端进行部署，而对应的底层硬件会是ARM CPU或者一些NPU芯片；智能医疗影像设备中进行医学影片分析推理，需要在嵌入式系统上进行部署。这些设备的架构、算力以及编程接口都差异很大，需要有对应的适配支持。
• 更极致的性能。在应用阶段，由于硬件计算能力和能耗等方面的制约，以及实际产品的服务压力，会对时延、吞吐有更严格的要求。只是直接加载运行训练完得到的模型使用训练阶段的前向计算逻辑进行推理，往往性能不能满足需求。所以推理部署阶段需要做更多地针对性的优化，包括模型结构分析裁剪、融合以及内存、显存优化，也包括更多硬件特性相关的优化等等。

飞桨paddle作为源于产业实践的深度学习框架，在推理部署能力上有特别深厚的积累和打磨，和飞桨paddle训练打通即训即用，支持广泛的硬件，并具备领先的性能优势。针对不同应用场景的差异性，提供了三种推理部署方案，可供大家更灵活选择使用：

方案	硬件	API 语言	适用场景
Paddle Inference	服务器（CPU、GPU）	C++、Python、C、Go等	适合直接应用，既可通过Python API对性能要求不太高的场景快速支持；也提供C++高性能接口，可与线上系统联编；并通过基础的C API可扩展支持更多语言的生产环境。
Paddle Serving	服务器（CPU、GPU）	C++、Python、Go等	适用于将推理计算作为一个远程调用服务的场景，客户端发出请求，服务端返回推理结果。可支持多机部署。
Paddle Lite	移动终端、嵌入式终端广泛硬件	C++、Python、Java等	适用于移动端/嵌入式芯片等端侧硬件中的高性能、轻量化部署。

相关文档

在之后的章节中，会对推理部署进行详尽的介绍，包括：

• 如何获取或编译推理库
• 如何使用Paddle Inference API在单机服务器上推理
• 如何使用Paddle Serving完成在线推理服务部署
• 如何使用Paddle Lite在端侧部署

附录：使用AnalysisPredictor完成推理

可以使用 AnalysisPredictor 接口加载训练好的模型（以 mobilenetv1 模型举例）完成推理。示例程序如下所示：

import numpy as np

import paddle.fluid as fluid

from paddle.fluid.core import AnalysisConfig

from paddle.fluid.core import create_paddle_predictor

 

model_path = "/home/aistudio/work/mobilenetv1.pdmodel"

params_path = "/home/aistudio/work/mobilenetv1.pdiparams"

 

config = AnalysisConfig(model_path, params_path)

config.switch_use_feed_fetch_ops(False)

 

predictor = create_paddle_predictor(config)

 

names = predictor.get_input_names()

tensor = predictor.get_input_tensor(names[0])

 

np_in = np.ones((1, 3, 224, 224)).astype(np.float32)

tensor.copy_from_cpu(np_in)

 

predictor.zero_copy_run()

 

output_names = predictor.get_output_names()

np_out = predictor.get_output_tensor(output_names[0]).copy_to_cpu()

 

print(np_out)

[[1.21727826e-04 3.20700463e-04 5.82089451e-05 7.91514685e-05

  2.26241609e-04 3.18012113e-04 3.63949584e-05 1.55225905e-04

  4.97485198e-05 5.28775738e-04 9.72280570e-04 1.67415114e-04

  1.44033897e-04 1.26612707e-04 1.29815031e-04 1.20161509e-04

  3.73874936e-04 9.12487376e-05 1.24151004e-04 1.15757946e-04

  1.00837358e-04 1.71393028e-03 4.64958634e-04 5.24882402e-04

  1.20603567e-04 2.27799988e-04 2.41602305e-04 2.23888754e-04

  3.52600997e-04 1.09493572e-04 5.14109161e-05 8.42846785e-05

  1.38743970e-04 8.18260887e-05 3.17557220e-04 5.86782953e-05

  1.71454405e-04 5.34485480e-05 8.39608430e-04 8.53498786e-05

  1.22387777e-04 1.66298938e-04 2.93890247e-04 5.17997658e-04

  1.37883690e-04 3.26917361e-04 1.13535221e-04 5.26544463e-04

  5.57362946e-05 5.99681262e-05 1.04723258e-04 4.37281909e-04

  2.77034094e-04 1.15415176e-04 1.46126331e-04 4.99728667e-05

  8.75305122e-05 7.65965669e-05 8.57481791e-05 8.04678129e-04

  1.52116903e-04 9.44600979e-05 3.91754991e-04 7.32405984e-04

  4.05460771e-04 2.72796809e-04 3.45484266e-04 1.18081312e-04

  4.94475069e-04 2.34519190e-04 2.69672746e-04 1.65143714e-03

  2.19772861e-04 1.75050099e-03 1.05759726e-04 6.06096932e-04

  1.58123701e-04 2.75443308e-04 4.76415129e-03 8.67101073e-04

  1.19984755e-03 2.28812874e-04 1.66749393e-04 5.25854179e-04

  7.44212302e-05 1.32435511e-04 1.84095974e-04 2.40598543e-04

  2.27929180e-04 1.85379249e-04 1.15059978e-04 5.75912010e-04

  1.19175704e-03 1.01329388e-04 1.30232220e-04 3.33886390e-04

  1.93866406e-04 2.69719039e-05 5.17027103e-04 2.24138916e-04

  1.29646025e-04 1.38495700e-04 1.56222188e-04 7.94712338e-04

  8.72816963e-05 2.02487408e-05 4.35009206e-05 1.53713831e-04

  1.37484181e-04 1.68518643e-04 1.80162519e-04 6.70104381e-03

  5.68105665e-04 3.89418332e-04 2.37337488e-04 5.21249931e-05

  2.17004141e-04 1.34405971e-03 1.14929317e-04 1.85632860e-04

  2.27966360e-04 1.76066620e-04 4.00711055e-04 8.45043614e-05

  1.44843783e-04 1.41126860e-04 1.47669273e-03 3.23374843e-04

  1.15690986e-03 2.74246995e-04 1.09530287e-04 1.69889827e-04

  2.16714601e-04 2.58776126e-04 2.24456569e-04 4.13971691e-04

  1.05811581e-04 1.00359786e-04 3.03712179e-04 1.29868029e-04

  1.94873573e-04 2.84670037e-04 3.29290255e-04 1.78069517e-04

  1.90525068e-04 1.63425953e-04 5.48136828e-04 8.19933543e-04

  1.45751314e-04 3.72370094e-04 1.61115589e-04 3.11133248e-04

  7.85315060e-04 2.38234250e-04 5.05759439e-04 1.82526186e-04

  2.03386677e-04 2.70630902e-04 4.77054360e-04 3.73183662e-04

  4.05011553e-04 2.17253037e-04 1.67105900e-04 6.48478395e-04

  5.25199925e-04 4.80183051e-04 4.26556508e-04 6.00905216e-04

  3.81001097e-04 3.54190590e-04 2.92223820e-04 2.80824897e-04

  3.63683794e-04 4.43498051e-04 2.28105520e-04 5.47989155e-04

  2.04626485e-04 3.79010424e-04 3.48650326e-04 1.19539101e-04

  1.08895787e-04 2.30943420e-04 1.36703980e-04 6.18770951e-04

  2.03028059e-04 5.11137070e-04 1.50014428e-04 3.33253964e-04

  7.64838653e-04 3.75721458e-04 1.19407731e-03 3.74086085e-04

  8.27501353e-05 2.10594662e-04 4.23597812e-04 5.87916700e-04

  1.00197634e-04 1.95776651e-04 1.73165783e-04 2.79477274e-04

  8.69569994e-05 9.75833464e-05 3.88956600e-04 1.95612869e-04

  1.42181903e-04 1.05786203e-04 3.55194556e-04 3.31124611e-04

  2.11178922e-04 1.76960559e-04 5.47703938e-04 3.15274607e-04

  1.53020534e-04 1.04475366e-04 1.60184325e-04 2.32349339e-04

  3.65591521e-04 7.44574427e-05 9.58926466e-05 6.46265689e-05

  2.85441667e-04 2.91961012e-04 2.72735429e-04 2.54047947e-04

  1.74546076e-04 3.05149413e-04 1.37390525e-04 1.50017499e-04

  3.59094032e-04 3.36868077e-04 9.81751509e-05 1.35725670e-04

  2.59903667e-04 2.32348670e-04 1.58498107e-04 4.89034050e-04

  4.83360171e-04 1.32379311e-04 1.99797796e-04 1.82763513e-04

  1.98822410e-04 3.54517717e-04 1.91132349e-04 1.78560716e-04

  6.64158651e-05 1.98411668e-04 2.77096173e-04 3.78740689e-04

  2.17345892e-04 2.42636292e-04 1.75127570e-04 2.34355874e-04

  4.28402069e-04 1.91599276e-04 3.92239483e-04 1.19432552e-04

  1.69770705e-04 2.22365285e-04 2.24337477e-04 1.66606158e-04

  1.04781087e-04 3.56400298e-04 8.33994127e-04 2.48145894e-04

  2.86503782e-04 1.08675064e-04 9.04683766e-05 1.46541584e-04

  3.01142398e-04 2.37903456e-04 2.96720536e-04 1.72732747e-04

  3.23493121e-04 3.38576705e-04 2.71492492e-04 4.83936718e-04

  2.84856447e-04 4.51846718e-04 1.70608531e-04 3.24895082e-04

  3.54543241e-04 5.65345748e-04 4.02673584e-04 7.02959369e-04

  5.35134517e-04 4.08625288e-04 5.44391187e-05 1.10884401e-04

  1.58246810e-04 9.41359904e-05 1.13791153e-04 9.13463809e-05

  2.53821519e-04 6.40009181e-04 1.66638740e-04 5.92865217e-05

  3.72924522e-04 1.92213032e-04 3.23678309e-04 6.42278697e-04

  1.72619941e-04 6.74066483e-04 7.76811270e-04 4.32308821e-04

  1.47958344e-04 1.91966916e-04 6.83945196e-04 4.64194600e-04

  3.56163131e-04 1.98241542e-04 2.20337394e-03 2.52737955e-04

  4.67757025e-04 2.13500185e-04 1.53974653e-03 2.14646105e-04

  2.44240044e-04 1.97558140e-04 1.24642777e-03 5.64517104e-04

  2.51677004e-04 8.31569923e-05 6.50558432e-05 2.55313964e-04

  1.04475766e-04 8.14279774e-05 1.75700028e-04 2.86782102e-04

  3.52857489e-04 1.10009321e-04 2.46662996e-04 4.02458594e-04

  1.76713671e-04 1.29380103e-04 2.25095268e-04 1.51724569e-04

  1.84390199e-04 2.50692567e-04 1.63189063e-04 2.25166441e-04

  1.87384139e-04 1.81167692e-04 1.13536415e-04 5.97526487e-05

  5.11754333e-05 2.44875613e-04 8.12454309e-05 1.13528782e-04

  5.97954058e-05 1.24141356e-04 2.74838472e-04 5.63332345e-04

  1.70202329e-04 5.23033144e-04 1.19329582e-03 1.18328309e-04

  4.45079961e-04 3.58577963e-04 6.40087470e-04 4.91382787e-04

  1.99334361e-04 4.95365006e-04 3.06942238e-04 1.23557242e-04

  3.37877718e-04 1.19136668e-04 4.97346955e-05 1.40197095e-04

  2.05921970e-04 1.25582126e-04 1.37171824e-04 3.18688224e-04

  1.23888734e-04 2.11527818e-04 3.16476391e-04 1.95677902e-04

  2.24412273e-04 1.60619529e-04 2.55965511e-04 7.12204637e-05

  1.35499547e-04 1.62422599e-04 1.26458850e-04 1.85394543e-04

  1.77933369e-04 3.68274457e-04 1.34687944e-04 9.20662060e-05

  8.41392321e-05 3.37865000e-04 1.67258811e-04 1.40176911e-04

  4.58358205e-04 4.09367931e-05 1.09933710e-04 2.22934657e-04

  2.34440922e-05 9.91295165e-05 5.23406081e-04 4.20307228e-03

  1.26192067e-03 3.74259515e-04 1.77418895e-03 4.79750714e-04

  9.58274934e-04 1.90286746e-03 1.17559728e-04 1.02188089e-04

  1.10512214e-04 4.20284737e-03 7.09707529e-05 4.18220006e-04

  7.08631880e-04 3.77219496e-03 2.35788495e-04 5.63858775e-05

  4.53599077e-03 7.25090387e-04 9.97902360e-03 2.40526441e-03

  6.41023507e-04 6.56457443e-04 5.52514452e-04 1.05131650e-03

  1.34407193e-04 3.40526603e-04 1.07593962e-03 6.72927068e-04

  3.94917384e-04 9.98261617e-04 3.14576289e-04 4.33041423e-04

  5.94534539e-03 5.00909577e-04 4.18850861e-04 4.53719258e-04

  1.79158495e-04 6.02559943e-04 1.74100953e-03 6.78960816e-04

  9.01124091e-04 5.98236686e-04 4.47617815e-04 6.58179284e-04

  4.14978858e-04 3.70502792e-04 3.73962312e-03 8.07805569e-04

  2.31261452e-04 3.73393210e-04 2.50365498e-04 5.65145724e-03

  1.51604079e-04 3.95083684e-04 4.25435464e-05 6.82182494e-04

  1.99906062e-03 5.09703066e-04 1.41879384e-04 7.77666981e-04

  2.56141095e-04 7.08308246e-04 2.76645296e-03 6.82537269e-04

  3.47359898e-03 2.39780918e-03 1.15044517e-04 4.07008520e-05

  1.73089429e-04 6.94020826e-04 1.71212212e-03 3.21175467e-04

  2.00759285e-04 1.10510373e-02 9.73945207e-05 2.60690082e-04

  9.17155412e-05 5.38159977e-04 8.70264019e-04 2.77122483e-04

  3.64061358e-04 1.21194276e-03 1.24992116e-03 1.30684159e-04

  4.85154800e-04 7.27616018e-04 7.96935288e-04 1.27008476e-03

  2.36565457e-03 1.31212655e-04 1.49919966e-03 4.81937313e-03

  6.39353122e-04 1.44663360e-03 3.41967493e-03 3.51335533e-04

  5.67119627e-04 1.12890491e-04 1.94476830e-04 3.32664177e-02

  1.36475035e-04 4.23039892e-04 1.82749750e-03 5.58759598e-03

  6.39525359e-04 6.85620937e-04 6.43312989e-04 3.65593727e-03

  5.83430519e-04 5.80837332e-05 7.96997047e-04 1.59656702e-04

  6.85849413e-03 1.51565787e-03 1.27307209e-03 5.12928003e-04

  1.03033253e-03 9.40292899e-04 3.25859059e-04 5.75379469e-04

  2.77284387e-04 6.27492496e-04 2.22217431e-03 6.65366708e-04

  4.03686368e-04 6.12563890e-05 4.72372572e-04 1.48897548e-03

  5.25274256e-04 7.02646968e-04 3.90480086e-03 2.02090782e-03

  1.04056625e-03 5.94473386e-04 7.38705229e-03 2.23054711e-04

  1.54258945e-04 2.54804501e-04 2.89534975e-04 9.65206826e-04

  4.18165699e-03 1.57731667e-03 3.20167933e-03 1.66230276e-03

  3.52258678e-04 1.76928297e-03 1.20972726e-03 4.43311146e-05

  3.14861885e-04 8.30022804e-03 6.06485701e-04 5.58536686e-03

  6.37621444e-04 1.65150757e-03 3.38213664e-04 1.29393055e-04

  2.23398535e-03 5.25694224e-04 1.47149444e-03 5.69903851e-03

  3.34174372e-04 3.25951667e-04 2.54835235e-04 1.18915946e-03

  9.10939270e-05 1.96897934e-04 7.58341863e-04 5.01610432e-03

  1.41969387e-04 7.18199663e-05 7.51582615e-04 1.53596382e-04

  6.47707668e-04 2.07111836e-04 1.61669659e-03 1.00029647e-04

  5.82609267e-04 2.49383459e-03 7.65080855e-04 3.02030268e-04

  1.15864801e-04 6.40893704e-05 7.80564733e-05 4.52747801e-03

  1.06702745e-02 6.41458621e-03 3.47377179e-04 4.14276589e-03

  1.27376220e-03 1.88927224e-03 1.29445887e-03 1.17187714e-03

  7.08733569e-04 3.29327653e-03 3.74447292e-04 3.33669770e-04

  8.11790209e-03 6.60159625e-04 4.40619508e-04 1.26659928e-03

  8.19021277e-03 1.74519035e-03 1.36606174e-03 7.73848369e-05

  6.56896178e-03 5.45650604e-04 2.96385051e-03 2.55727995e-04

  7.05223065e-04 1.09091096e-04 8.77595390e-04 2.81830580e-04

  3.17126105e-04 8.76854407e-04 2.54585408e-04 3.98207270e-03

  1.67279877e-03 8.06205731e-04 1.44030887e-03 1.54467183e-03

  1.06774329e-03 3.37078585e-04 1.07498525e-03 1.63244959e-02

  1.10762703e-04 2.07572055e-04 4.17150185e-03 2.62998074e-04

  2.96370970e-04 4.25125286e-03 2.49685347e-03 5.72862569e-03

  2.94996030e-03 2.77449004e-03 1.13856222e-04 2.25172122e-03

  9.19534010e-04 1.52599736e-04 2.63720751e-04 5.41261572e-04

  1.15549876e-04 8.94009601e-03 5.25377982e-04 4.87010460e-04

  5.67416381e-03 2.14949381e-04 9.03634820e-04 2.12626462e-03

  4.92998166e-04 6.71160407e-04 3.55854770e-03 1.08241057e-03

  3.51675146e-04 1.84332533e-03 1.19293443e-04 2.67585769e-04

  1.21943245e-04 7.16441427e-04 1.91025581e-04 9.93108610e-04

  3.54258838e-04 4.71144085e-05 1.87589496e-03 2.80927226e-04

  3.73535848e-04 2.25603406e-04 2.50397180e-03 1.32342393e-03

  1.02056460e-04 9.49221358e-05 2.80470122e-04 1.77792928e-04

  1.06426107e-03 8.80272884e-04 2.36197049e-03 2.13738138e-04

  3.70539702e-03 1.26230195e-02 1.13988540e-03 5.26642136e-04

  5.75518515e-03 1.88643928e-03 3.84227227e-04 1.03562763e-02

  3.90671752e-03 9.65263753e-05 3.31462361e-03 1.72383618e-04

  4.94267384e-04 7.03660597e-04 8.07777396e-05 4.24116646e-04

  6.41099759e-04 1.17202895e-03 2.06294630e-04 1.08433259e-03

  6.10892428e-03 3.36446217e-04 2.48791737e-04 6.57994021e-03

  1.74249243e-03 2.99880700e-03 2.10661418e-03 2.55349791e-04

  1.67025762e-04 1.41632059e-04 2.13633190e-04 3.11904179e-04

  4.38275328e-03 3.01088556e-04 1.45235995e-03 1.67604990e-03

  1.26025616e-03 1.04633335e-03 3.92663525e-03 1.30806048e-03

  1.97426663e-04 9.00178857e-05 6.18147780e-04 1.28507277e-03

  2.84277136e-03 8.60183791e-05 2.29957467e-03 8.38150037e-04

  1.07050280e-03 3.73605289e-04 5.11885900e-03 4.02442849e-04

  7.95380329e-04 4.11055982e-03 3.82234983e-04 7.37881800e-03

  2.10048791e-04 1.91930356e-03 3.27773851e-05 1.34439746e-04

  8.98099039e-04 7.01495504e-04 3.94312199e-04 4.59344563e-04

  1.73002621e-03 1.05773902e-03 1.04015914e-03 2.26229415e-04

  2.65464419e-03 8.36355845e-04 2.77882139e-03 2.03960179e-03

  3.51341238e-04 3.87674756e-03 3.79763136e-04 1.34811824e-04

  7.87095574e-04 2.53455923e-03 1.62694685e-03 3.79059406e-04

  9.21410829e-05 1.00287354e-04 6.83509512e-03 1.19307626e-03

  1.61262020e-03 1.79494370e-03 1.12967602e-04 5.84788760e-03

  1.67174614e-03 1.69561419e-03 7.83766096e-04 3.44670611e-03

  3.09242663e-04 7.01630581e-03 6.65107684e-04 1.45331910e-03

  4.61193360e-03 4.42826073e-04 1.49636716e-03 4.57972608e-04

  1.21797738e-03 2.61537638e-03 1.03295618e-03 2.29402911e-04

  1.01465662e-03 6.81024918e-04 1.05326890e-03 9.64005105e-03

  4.53979941e-03 1.50874417e-04 1.76746791e-04 4.34553105e-04

  2.05734104e-04 3.15301656e-03 4.33909794e-04 4.52067616e-04

  1.42407313e-03 3.75969481e-04 5.20227186e-04 8.51170253e-03

  3.76346521e-04 8.70727701e-04 1.85343821e-03 3.77982389e-04

  1.88806720e-04 8.33696278e-04 4.35426133e-04 3.14656587e-04

  2.11217487e-03 7.11805362e-04 5.86141192e-04 4.34771588e-04

  3.90850968e-04 3.32906639e-04 1.20309566e-03 3.05284513e-03

  2.34565116e-03 1.22160343e-02 5.23950730e-04 2.20246206e-04

  1.28330779e-04 2.25515760e-04 3.63219786e-03 1.67002436e-04

  7.73637366e-05 5.75273065e-04 6.24978624e-04 1.64348877e-03

  2.28667370e-04 3.12949269e-04 2.49703019e-03 6.06265152e-04

  2.13309657e-03 4.61083182e-05 1.81602919e-03 4.17579664e-03

  1.92371750e-04 3.76832992e-04 1.04707282e-03 2.76146864e-04

  3.19445552e-03 1.08634366e-03 6.59094844e-03 1.95430606e-04

  1.78804575e-03 7.60178140e-04 4.99104033e-04 1.98069392e-04

  5.71285328e-03 1.71970623e-03 6.90942863e-03 1.87137339e-04

  4.67395846e-04 2.42116090e-04 1.53128785e-04 1.37879374e-03

  2.89454358e-03 2.71503261e-04 4.44194814e-03 1.55427074e-03

  1.04327290e-03 8.11648439e-04 5.08201832e-04 1.10362191e-03

  1.64239982e-03 3.41280201e-03 1.50908600e-03 3.32851690e-04

  1.11585337e-04 1.01050355e-04 2.89872987e-04 3.65861517e-04

  5.90908516e-04 1.02617301e-03 3.66891705e-04 3.20928084e-04

  3.30140349e-03 3.60689650e-04 2.85566912e-05 1.17890269e-03

  3.34544573e-04 8.58503161e-04 8.32737540e-04 6.78788405e-04

  4.66891739e-04 1.05052348e-03 9.33037081e-04 1.81948673e-03

  1.19906406e-04 8.52207653e-03 2.10686485e-04 2.36580338e-04

  2.77870189e-04 8.12199840e-04 3.59139056e-04 1.62084738e-03

  8.26777611e-03 9.21288971e-04 1.58481195e-03 1.54995825e-03

  1.24834036e-03 8.73693498e-04 1.59231713e-03 1.14024000e-03

  3.78832599e-04 2.30331905e-03 7.78570492e-03 6.43172243e-04

  4.99826390e-04 1.34751084e-03 3.76065145e-03 1.20734877e-03

  5.35339175e-04 1.44130294e-03 1.25429942e-03 8.91761796e-04

  2.68556847e-04 5.93070523e-04 5.09942009e-04 1.42990248e-04

  3.72367539e-03 1.57172835e-04 2.77980085e-04 4.56843671e-04

  3.55847558e-04 8.63080786e-04 3.83126404e-04 6.32392999e-04

  7.32289118e-05 1.22569990e-03 4.63254808e-04 1.98572467e-04

  1.18837037e-04 3.20654886e-04 1.21738098e-03 1.71154388e-04

  3.61516315e-04 1.05935273e-04 1.91264917e-04 1.72140644e-04

  7.28069281e-04 4.98890120e-04 4.66658035e-04 2.31459388e-04

  1.54206133e-03 2.72370089e-04 4.64979035e-04 5.15124644e-04

  2.32916049e-04 8.52017838e-04 4.25367296e-04 1.04458129e-04

  1.16429711e-03 1.10081583e-03 3.82170489e-04 7.43269513e-04

  3.84760555e-04 2.26309799e-04 8.12338840e-04 1.42657838e-04

  2.77324580e-04 3.62469495e-04 4.41519893e-04 3.42746818e-04

  1.09884934e-03 2.63902941e-04 1.72429398e-04 6.22500593e-05

  2.93681631e-04 7.11692046e-05 2.27577519e-03 4.64388548e-04

  1.29579380e-03 2.21083360e-03 1.87876765e-04 3.79017991e-04

  2.59619788e-04 1.23651072e-04 5.56289975e-04 4.66850790e-04

  8.25185445e-04 1.17661851e-03 1.15679926e-03 1.75522422e-04

  4.16476512e-04 7.60566967e-04 4.94151434e-04 1.54605121e-04

  7.09432294e-04 4.46818565e-04 5.14722669e-05 6.54858944e-04

  2.81039218e-04 2.77665036e-04 1.32531347e-03 1.02459075e-04

  5.67155257e-05 9.05840643e-05 1.02248086e-04 1.93883694e-04

  3.22949985e-04 5.38021377e-05 6.96754374e-04 4.75078472e-04]]

在上述程序中，准备了一个shape为[1, 3, 224, 224]、数据全1的输入，并通过 AnalysisPredictor 完成模型的推理。