比尔·盖茨近期发表了一篇博客，其中谈到Agents将会是LLM的未来方向。LLM是一个Decoder，是Agent的大脑。LLM和Agent的区别，正如GPT-4和ChatGPT的区别。 1 Intro 如图所示： Agents具有运用“Tools”的能力，可以调用外部api或沙盘来执行代码； Ag 阅读全文
https://arxiv.org/pdf/2404.16130 往期的NaiveRAG基本都是显式检索，而GraphRAG通过知识图谱增强了总结能力。 1 引入 RAG的向量查询可以如下归纳： 索引阶段：文档先进行分块（可以划分成统一大小的512token块，也可以根据语义按句子划分，如spaCy 阅读全文
对于连续的优化问题，典型的方法是梯度下降法；对于离散的优化问题，典型的方法是爬山法/退火法。 让我们从一道简单的题目入手吧。 任务：生成能够欺骗文本分类模型的对抗性文本。 你需要对给定的positive、negative、neutral文本数据进行微小扰动，以确保模型对这些扰动后的文本进行错误预测。 阅读全文
1 概述 关于Unity正文前，先大致整理一些预备内容和框架。 Unity是一个平台/引擎，有很多库文件，开发者需要做两件事：利用Unity自带的图形化界面（Inspector面板）挂载调整；利用自己写的C#（Script脚本）调用库文件实现逻辑。 一个Unity工程有多个场景（Scene），每个场 阅读全文
优化一个LLM的表现有很多技巧，如Prompt Engineering（提示工程）、Fine Tuning（微调）、Retrieval Augmented Generation（检索增强生成）等： 其中Fine Tuning有很多种，除了普通的微调，还包括Instruction Tuning（提高对 阅读全文
1 对抗学习 对抗学习的目的是增加安全性和鲁棒性。 1.1 GAN 对抗生成网络（GAN）包括生成器（Generator）和判别器（Discriminator）。如果目标是创建能够生成新内容的系统，那么生成器是希望得到并优化的模型，这是一个零和问题。 1.2 GenB GenB是对抗网络用于VQA的 阅读全文
知识截至2024年6月。 1 Tasks 现代机器学习的Tasks基本可以划分成以下16个方向： Computer Vision Natural Language Processing Medical Miscellaneous Methodology Time Series Graphs Spee 阅读全文
1 Prerequisites 1.1 Training Methods 训练方法通常分为三种：提示工程、微调和预训练。 1.1.1 Prompt Engineering 不需要重新训练模型，节省成本。 1.1.2 Fine-tuning 微调和预训练的代码基本相同，但是计算量相对小很多。 1.1. 阅读全文
1 课内基本知识概述 经济学是什么（协调和利用有限的资源，微观研究资源配置，宏观研究资源利用，机会成本） 经济学研究的是人与人因资源稀缺性所导致的冲突与协调。 微观经济学研究消费者行为、生产者行为、市场的形态、博弈、外部性、公共产品和信息不对称等。微观侧重经济行为。 宏观经济学研究三大问题：失业、通 阅读全文
1 数据库设计 软件三要素：程序、数据、文档。 1 NF 指的是表结构的原子性，不能再划分，比如 xx 市 xx 区 xx 路分开成多列。 2 NF 消除部分依赖，比如下面这个表： 学生ID 学生姓名 课程名称 教师姓名 教师办公室 001 张三 数学 李老师 101室 001 张三 物理 王老师 阅读全文
