摘要:
简介 Agent 扩展了 Triton 在加载卸载 “模型” 时候的功能。比如可以在加载模型的时候,进行 md5 校验。 agent 的使用非常简单,就在模型的配置文件后面加上以下的配置就好了。对的,就是这么简单。这是英伟达的例子,使用了 checksum agent,在模型加载的时候会校验模型的 阅读全文
摘要:
vector 目前用的最多的容器,没有之一。非常有必要更多地了解它。vector 是动态数组,数组的容量不是固定的。它的原理很简单,当数组的元素数量达到了容量时,插入新的元素会发生扩容。扩容会开一块新的内存出来,然后将元素复制过去,扩容的大小为 1.5 倍。 接口 vector 提供了哪些接口,看文 阅读全文