摘要：
docker设置： 在执行 TensorFlow Serving 容器的命令之前，你需要完成以下 Docker 相关的设置和操作： 安装 Docker：如果你的系统上尚未安装 Docker，请按照以下步骤进行安装： 对于 Ubuntu 系统： shell复制代码 sudo apt-get updat 阅读全文
摘要：
import tensorflow as tfimport jsonaa = { "label": { "binary_label": { "is_use": 1, "data_type": "int64", "default_value": 0, "feature_length": "fixed_ 阅读全文
摘要：
import sysimport tensorflow as tffrom keras import Input, Modelimport keras.layers as layersfrom keras.layers import Dotfrom transformers import TFAut 阅读全文
摘要：
1.nn.EmbeddingBag：适合用于文本进行ngram特征表示，有sum，mean等方式 2. dot,*,mul,@,matmul,mm,bmm torch.dot(a,b) 两向量相乘相加得到一个标量，必须都是一维的 torch.bmm(a,b):矩阵乘法 批矩阵相乘，不会进行广播，必须 阅读全文
摘要：
anaconda： 清华镜像站中anaconda的所有版本的网址：Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror minianaconda：Index of / (anaconda.com) wget h 阅读全文
摘要：
1.MHQ和MQA MultiQuerySelfAttention： MHQ和MQA的不同之处仅仅在于每个头共享相同的K、V权重而Q不同享。 2.FlashAttention：核心是减少self-attention计算过程中对gpu存储单元HBM的访问，HBM的特点是存储大，但是访问速度慢，atte 阅读全文
摘要：
bert结构：BERT-Base, Uncased: 12-layer, 768-hidden, 12-heads, 110M parameters，词典大小：30522 embeding层： token embeding:30522*768，获取每个token的初始编码 position embe 阅读全文
摘要：
最典型的是两个应用场景：全文检索 和 复杂查询。 正排索引，也叫正向索引（Forward Index），是通过文档ID去查找关键词（文档内容）。倒排索引，也叫反向索引（Inverted Index），是通过关键词查找文档ID。 must：其查询子句必须全部被满足，逻辑相当于 and ，并且会计算分数 阅读全文
摘要：
大模型分词 阅读全文
摘要：
在python中，I/O密集型任务可以用多线程的方式来实现（threading库）；然而，对于计算密集型任务，由于python中全局锁GIL的存在，多线程并不能起到一个加速的作用。所以此时，一般使用多进程的方式实现（multiprocessing库）。 多线程 threading： 一个人有与异性聊 阅读全文