随笔分类 - Tensorflow
摘要:概要ONNX模型中的结构是一个有向图,包含了很多节点。每个节点执行一个特定的操作,最终就得到了推理结果。ONNX模型格式标准并没有要求所有节点按照拓扑顺序来存储,进行模型解析的时候也基本不要求解析出来的节点一定要符合拓扑顺序排列。有些模型很简单,从输入到输出,可能只有一条通路;有些模型很复杂,不仅输
阅读全文
摘要:1、启动服务时,默认会加载tensorflow1的backend so库。如果想要使用tensorflow2,则在启动命令中添加: --backend-config="tensorflow,version=2" 则会自动加载镜像中/opt/tritonserver/backend/tensorflo
阅读全文
摘要:当我们拿到别人提供的pb模型时,我们很可能不清楚inputs所需的参数,可以使用以下方法来查看模型信息: 找到你的tensorflow安装位置,依次定位到以下目录:tensorflow_core/python/tools执行如下命令:python saved_model_cli.py show --
阅读全文
摘要:地址: server:https://github.com/triton-inference-server/server client:https://github.com/triton-inference-server/client 编译部署方式: xx.yy-py3 包括server,可用于直接
阅读全文
摘要:介绍地址:https://github.com/tensorflow/serving docker安装(推荐) https://github.com/tensorflow/serving/blob/master/tensorflow_serving/g3doc/docker.md 非docker h
阅读全文
摘要:1、git clone tensorflow serving 及tensorflow代码 2、 解决办法: 3、看起来./configure配置全部不能生效,因此需要自己配置变量指引cuda、cudnn、nccl等所有的非默认路径 解决办法:通过变量设置 4、遇到nvcc检测cuda版本与设置不一致
阅读全文
摘要:tensorflow中,grpc使用boringssl进行加密,boringssl是google基于openssl自行开发的一条分支,有许多相同函数,但底层实现以及支持的加密类型有不同。 且tensorflow中,boringssl是以静态库形式编译的,一旦在BUILD中加入openssl及grpc
阅读全文
摘要:tensorflow_serving 遇到错误:gRPC failed, call return code:8:Received message larger than max (45129801 vs. 4194304) 这里是因为grpc的默认信息长度为int32_max即4*1024*1024
阅读全文
摘要:1、安装grpc gRPC 的安装: $ pip install grpcio 安装 ProtoBuf 相关的 python 依赖库: $ pip install protobuf 安装 python grpc 的 protobuf 编译工具: $ pip install grpcio-tools
阅读全文
摘要:1. 按比例 or 2.按需求增长 or
阅读全文
摘要:从公司的项目源码中看到了这个东西,觉得挺好用的,写篇博客做下小总结。下面的操作以C++为编程语言,protoc的版本为libprotoc 3.2.0。 一、Protobuf? 1. 是什么? Google Protocol Buffer(简称 Protobuf)是一种轻便高效的结构化数据存储格式,平
阅读全文
摘要:启动时添加环境变量 export TF_CPP_MIN_VLOG_LEVEL=1 ,这样可以打印VLOG(1)的log
阅读全文
摘要:编译gpu版本:bazel build -c opt --config=cuda --spawn_strategy=standalone //tensorflow_serving/model_servers:tensorflow_model_server 编译cpu版本:bazel build //
阅读全文
摘要:1、出现该错误表示opencv冲突,该机器上有多个opencv版本。 解决方法:卸载低版本opencv 2、bazel中BUILD的写法:
阅读全文
摘要:export TEST_TMPDIR=/search/
阅读全文
摘要:执行CC=/usr/bin/gcc后再编译即可
阅读全文
摘要:首先是把tensorflow克隆到本地一份。 既然是谷歌官方要求的,最好把--recurse-submodules加上,文档说可以避免一些数据结构序列化时的编译问题。 这是android demo的github主页。 准备编译 1.安装bazel bazel是谷歌自己的构建工具。tensorflow
阅读全文