机器学习 - 随笔分类 - JadePeng

In-batch negatives Embedding模型介绍与实践

摘要：语义索引（可通俗理解为向量索引）技术是搜索引擎、推荐系统、广告系统在召回阶段的核心技术之一。本文介绍In-batch negatives方法训练embedding模型，以及通过mteb测试模型recall效果。阅读全文

posted @ 2024-03-14 12:57 JadePeng 阅读(1399) 评论(0) 推荐(0) 编辑

搜索引擎RAG召回效果评测MTEB介绍与使用入门

摘要：MTEB 是一个包含广泛文本嵌入（Text Embedding）的基准测试，它提供了多种语言的数十个数据集，用于各种 NLP 任务，例如文本分类、聚类、检索和文本相似性。本文介绍MTEB，以及如何自定义模型和评测任务。阅读全文

posted @ 2024-02-26 15:31 JadePeng 阅读(2806) 评论(0) 推荐(0) 编辑

【开源】java版本BertTokenizer以及使用onnxruntime推理

摘要：开源java版本bertTokenizer 阅读全文

posted @ 2023-09-04 15:43 JadePeng 阅读(999) 评论(0) 推荐(0) 编辑

AI集群通信中的软硬件介绍

摘要：计算机网络通信中最重要两个衡量指标主要是带宽和延迟。分布式训练中需要传输大量的网络模型参数，网络通信至关重要。 AI集群通信实现方式 AI集群是由多台包含CPU、内存、GPU的服务器组成，需要考虑机器内通信和机器间通信。机器内通信通常包括共享内存、PCIe、NVLink等方式，机器间主要通过阅读全文

posted @ 2023-02-15 18:06 JadePeng 阅读(505) 评论(0) 推荐(0) 编辑

分布式AI集群服务器架构

摘要：ChatGPT的推出，人工智能正式进入大模型时代。要训练一个chatgpt这样的大模型，需要分布式AI集群的支持。深度学习迎来大模型 Open AI的GPT-3模型，使用512张V100，需要训练7个月。现在的大模型训练，离不开分布式训练，通过分布式训练来加速训练过程，减少耗时。分布式并行架构阅读全文

posted @ 2023-02-15 18:05 JadePeng 阅读(525) 评论(0) 推荐(0) 编辑

[转]Transformers使用

摘要：[Transformers](https://huggingface.co/docs/transformers/index) 是由 [Hugging Face](https://huggingface.co/) 开发的一个 NLP 包，支持加载目前绝大部分的预训练模型。随着 BERT、GPT 等大规模语言模型的兴起，越来越多的公司和研究者采用 Transformers 库来构建 NLP 应用。阅读全文

posted @ 2022-12-07 16:51 JadePeng 阅读(158) 评论(0) 推荐(0) 编辑

Transformers Optimum 使用

摘要：🤗 Optimum是Transformers的🤗扩展，它提供了一组性能优化工具，以最高效率在目标硬件上训练和运行模型。阅读全文

posted @ 2022-12-07 16:42 JadePeng 阅读(1541) 评论(0) 推荐(0) 编辑

推荐算法之： DeepFM及使用DeepCTR测试

摘要：经典推荐算法DeepFM介绍，以及使用deepctr库利用movielen数据集进行测试阅读全文

posted @ 2020-10-16 14:21 JadePeng 阅读(7268) 评论(2) 推荐(2) 编辑

推荐算法之： LFM 推荐算法

摘要：LFM介绍 LFM(Funk SVD) 是利用矩阵分解的推荐算法： R = P * Q 其中： P矩阵是User-LF矩阵，即用户和隐含特征矩阵 Q矩阵是LF-Item矩阵，即隐含特征和物品的矩阵 R：R矩阵是User-Item矩阵，由P*Q得来见下图： R评分举证由于物品和用户数量巨大，且稀疏阅读全文

posted @ 2020-10-12 21:10 JadePeng 阅读(1882) 评论(0) 推荐(0) 编辑

fastText训练word2vec并用于训练任务

摘要：介绍如何使用fastText训练word2vec并用于深度学习训练阅读全文

posted @ 2019-11-22 15:45 JadePeng 阅读(1526) 评论(0) 推荐(0) 编辑

知识图谱学习笔记（1）

摘要：知识图谱学习笔记第一部分，包含RDF介绍，以及Jena RDF API使用阅读全文

posted @ 2018-05-04 17:25 JadePeng 阅读(8103) 评论(0) 推荐(2) 编辑

python实现多变量线性回归(Linear Regression with Multiple Variables)

摘要：本文介绍如何用python实现ng的机器学习课程中的多变量线性回归阅读全文

posted @ 2017-02-17 10:18 JadePeng 阅读(17242) 评论(0) 推荐(0) 编辑

python 单变量线性回归

摘要：ng 机器学习单变量线性回归(Linear Regression with One Variable)作业内容，python实现阅读全文