随笔分类 - Algorithms
From COMP9101, UNSW
摘要:经典协同过滤 假设行为相似的用户有着相似的偏好,根据大量用户user的行为反馈识别用户群体的感兴趣的内容item并推荐,通常使用用户内容矩阵(User-Item Interaction Matrix)来表示。 显式反馈(打分) 能够明确反应出用户对内容的喜好程度,但数据获取难度高,数据量小。 隐式反
阅读全文
摘要:对齐与能力 能力(Capability):模型完成一些特定任务的能力。 未对齐(misalignment):模型在训练集上表现很好,但在测试集上表现很差。说明模型有能力学习,但训练设定的目标不对^1。 类似初版的GPT-3这类大模型,已经在大量的数据上训练过,也能够生成人类语言,但无法生成人类期望的
阅读全文
摘要:GPT系列模型的历史 GPT-1 Paper 关键研究成果 将transformer架构与无监督的预训练结合,相较于之前的语言模型将有非常大的提升; 基于预训练之后的模型针对一个小任务进行微调(fine-tune),将凸显出比较强的自然语言理解能力; GPT-2 Paper 关键研究成果 新增多任务
阅读全文
摘要:多项式的点值表示(Point Value Representation) 设多项式的 系数表示(Coefficient Representation) : $$ \begin{align } \mathrm P_a(x)&=a_0+a_1x+a_2x^2+\cdots+a_{n 1}x^{n 1}
阅读全文
摘要:Graph 拓扑排序(Topological Sort) 假设一个应用场景:你用 C 编写了一个爬虫工具,其中有很多自定义的库: 、`queue.h stack.c stack.h heap.c heap.h bfs.c bfs.h dfs.c dfs.h dijkstra.c dijkstra.h
阅读全文
摘要:题目背景描述 新年第一天,N 个人排队坐过山车。每个人穿有带编号的衣服 。 因为排队时间太久,有人发现给前面相邻的人喂一颗糖,就可以和他交换位置,而每人手里只有两颗糖。所以这些人就通过“喂糖”的方式,让队伍变得乱七八糟。 作为游乐场管理员,为了纠正这种不正之风,你要使
阅读全文