摘要：
引言 2015年05月25日。之前在csdn写博客，可是csdn经常进不去，所以转战博客园，就用了一键博客搬家功能,其中诺有版面问题，请来这边：http://blog.csdn.net/shouhuxianjian $\color{red}{【自然语言处理】}$ 0 引言 NLP之引言 1 词向量 阅读全文
摘要：
openai是一家伟大的公司（虽然是closedai），当他们提出agent的概念后，就很神奇。之前通过langchain的langgraph进行写demo，就很好奇，他是怎么基于我的话自动去识别这句话是大模型的闲聊，那句话是大模型去调用tool 1.现象 1.和大模型打招呼，大模型知道回答，这没啥 阅读全文
摘要：
openai的调用api几乎成为了实质性的大模型社区的调用标准，你看不论是阿里的灵积，智谱，together，vllm，ollama，fastchat等都支持openai的调用方式，所以这也是大势所趋， 有时候我们想做个中间层，底层调用大模型，上层提供业务服务，特别是许多公司的多节点的agent，如 阅读全文
摘要：
我们经常会为了组内谁在占用某块gpu卡而不使用 烦恼，通过简单的代码就能快速识别到这块卡上面的进程是哪个容器的。 下面的代码会给出如下图这样的结果 #! /miniconda3/bin/python # -*- coding: utf-8 -*- import psutil import subpr 阅读全文
摘要：
1引言 通常来说，在NLP领域的很多场景中模型最后所做的基本上都是一个分类任务，虽然表面上看起来不是。例如：文本蕴含任务其实就是将两个序列拼接在一起，然后预测其所属的类别；基于神经网络的序列生成模型（翻译、文本生成等）本质就是预测词表中下一个最有可能出现的词，此时的分类类别就是词表的大小。 对于问答 阅读全文
摘要：
1引言 在自然语言处理领域中，预训练模型通常指代的是预训练语言模型。广义上的预训练语言模型可以泛指提前经过大规模数据训练的语言模型，包括早期的以Word2vec、GloVe为代表的静态词向量模型，以及基于上下文建模的CoVe、ELMo等动态词向量模型。 在2018年，以GPT和BERT为代表的基于深 阅读全文
摘要：
转到了NLP组，算是到了一个新的领域，其实很久之前就想接触NLP了，觉得无头绪，无从下手，很多都是碎片化，过时等资料。看了《ChatGPT对自然语言处理带来什么冲击》,其中以书本为锚点，介绍了NLP的发展史 1自然语言发展史 | 阶段 | 书籍 | 出版年 | | | | | | 第一代统计学习 | 阅读全文
摘要：
1 引言 众所周知： 召回阶段需要尽可能覆盖用户感兴趣的各种类型物品； 粗排模型要求计算快， 精排模型要求计算准确， 重排考虑业务规则、多样性等。 在粗排用的最广泛的就是DSSM双塔模型，其会将用户特征、广告特征分别用两个shallow-dnn的结构计算，得到embedding，线上serving时 阅读全文
摘要：
1 引言 COLD全程：Computing power cost-aware Online and Lightweight Deep pre-ranking system。是阿里巴巴提出的，主要用于推荐中的粗排阶段。该文将粗排的演化分成4个阶段， 第一阶段：简单的规则 第二阶段：LR 第三阶段：基于 阅读全文
摘要：
整理下一些常用的评估模型的指标 1 AUC AUC（Area Under Curve）被定义为ROC曲线下与坐标轴围成的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真 阅读全文
摘要：
【A】 Ad Exchanges 广告交易系统，为广告主，为媒体提供交易的一个平台，保证每个广告位的价值最大化。 Ad Network ADN可以被理解为媒体代理公司，通过为广告主采购媒体方流量，赚取中间差价，其代表有百度网盟等 ADimp (ADimpression): 单个广告的展示次数 ADP 阅读全文