ChatGPT相关资讯
闪耀之星AK：[微笑]最*发布的一篇论文QLoRA对模型微调产生了深远... - 今日头条
https://m.toutiao.com/is/UK53ewr/
通过在信息学上进行优化，并利用英伟达统一内存技术，该论文实现了在仅有48GB显存的GPU上，在不到24小时的时间内微调了一个拥有650亿参数的模型。
而在此之前，需要使用780GB显存才能完成相同的任务。基于这个成果，他们还训练出了Guanaco模型，其性能达到了ChatGPT 99.3%。
即时AI使用指南
https://fyze31atzb.feishu.cn/wiki/XSHRw8tJcirutSkdZzpcW22Rn6d
即时AI是全球首款通过自然语言描述，快速生成可编辑的UI设计搞的设计工具。
输入文字描述后，即可一次性生成4张包含矢量图层和图标、支持二次编辑、分层结构清晰UI设计搞。
即时AI目前已面向全部用户免费开放，每人每日20次生成次数。https://js.design/ai
国内开源社区
OpenI启智社区
百度飞桨，AIStudio
华为MindSpore
DataWhale
开源中国OSCHINA
木兰开源社区
CSDN
Gitee
大模型再添重磅玩家：清华大学NLP实验室开源可商用大模型CPM-Bee - 今日头条
https://m.toutiao.com/is/U995JhA/
5月27日，OpenBMB发布了一个最高有100亿参数规模的开源大语言模型CPM-BEE，OpenBMB是清华大学NLP实验室联合智源研究院成立的一个开源组织。该模型针对高质量中文数据集做了训练优化，支持中英文。根据官方的测试结果，其英文测试水平约等于LLaMA-13B，中文评测结果优秀。
国产开源大语言模型最强的应该是ChatGLM-6B，这也是清华大学研究成果。
CPM全称Chinese Pretrained Model，Bee是该系列模型的第二个里程碑版本。
CPM-Bee模型是基于CPM-Ant模型继续训练得到。后者是2022年5月到9月训练的大语言模型。
包含4个系列的预训练结果，参数分别是10亿、20亿、50亿和100亿。
16年等待，再见 SQL Boy，这一次数据库交互形态彻底被颠覆了！
2023-05-12 17:30·InfoQ
https://m.toutiao.com/is/ULLmcw3/
软件交互范式的演进：从命令行到CIU
数据库交互与CIU革命
SQL Chat：用自然语言和数据库交互的全新工具
AI行业专题报告：向量数据库，AI时代的Killer App
2023-05-09 13:21·未来智库
https://m.toutiao.com/is/Udx32Dj/
全球主流向量数据库介绍
Pinecone
Milvus
Vespa
Weaviate
Qdrant
AI模型大放异彩：2023年4月发布的23个模型总结与解析
原创 2023-05-02 19:30·数据学*DataLearner
https://m.toutiao.com/is/DtCogvj/
2023年6月份重要的AI模型列表 https://www.datalearner.com/ai-models/2023/06
最*几年AI模型列表 https://www.datalearner.com/ai-models/pretrained-models
一张照片生成3D头像！苹果新模型击败StyleGAN2，表情光线都能调
2023-05-02 01:18·量子位
https://m.toutiao.com/is/Dbe7eH1/
苹果的最新黑科技生成框架FaceLit。
陆奇最新演讲实录：我的大模型世界观
2023-04-24 14:06·金融界
https://www.toutiao.com/article/7225493559028384311
01 社会性拐点的核心，是一类大型成本从边际成本变成固定成本
02 我所看到的三个拐点
03 OpenAI核心就坚信两件事，发展速度连Sam本人都惊讶
04 未来是一个模型无处不在的时代
05 每周都有一两个“HOLY SHIT” moment，对每个人、每个行业都有结构性影响
06 大模型的淘金时代，对机会点进行结构性拆解
07 我对创业者有几点建议
复刻ChatGPT！斯坦福等开启红睡衣计划，开源1.2万亿token训练集
2023-04-23 10:17·新智元
https://m.toutiao.com/is/DDn1w2o/
Meta AI开源的大羊驼LLaMA模型彻底点燃了开源社区的热情，并在此基础上相继开发出了各种类ChatGPT的羊驼Alpaca, Vicuna等。
但Meta只是开源了LLaMA的权重，训练用到的数据集并没有开源出来，对于那些想从头开始训练LLaMA的从业者来说，目前还没有开源方案。
最*，由Ontocord.AI，苏黎世联邦理工学院DS3Lab，斯坦福CRFM，斯坦福Hazy Research 和蒙特利尔学*算法研究所的宣布开启「红睡衣」（RedPajama）计划，旨在生成可复现、完全开放、最先进的语言模型，即从零一直开源到ChatGPT！
下载地址：https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1T
预处理仓库：https://github.com/togethercomputer/RedPajama-Data
「红睡衣」开源计划总共包括三部分：
- 高质量、大规模、高覆盖度的预训练数据集；
- 在预训练数据集上训练出的基础模型；
- 指令调优数据集和模型，比基本模型更安全、可靠。
OpenAI的CEO：构建庞大AI模型的时代已经结束
原创 2023-04-18 08:46·华尔街见闻
https://m.toutiao.com/is/DNodfAn/
OpenAI研发的聊天机器人ChatGPT的惊人功能引发了人们对人工智能的新兴趣和投资。但上周晚些时候，OpenAI的首席执行官Sam Altman警告说，构建庞大AI模型、研发生成式AI机器人的时代已经结束。
*年来，OpenAI通过采用现有的机器学*算法并将其扩展到以前无法想象的规模，在与语言一起工作的人工智能方面取得了一系列令人印象深刻的进步。GPT-4是这些项目中最新的一个，它可能是使用数万亿个文本单词和数千个强大的计算机芯片进行训练的，构建这一庞大的AI模型耗资超过1亿美元。
关于ChatGPT八个技术问题的猜想
2023-02-22 16:09·机器之心Pro 转自知乎
https://m.toutiao.com/is/DRUU3AW/
1.ChatGPT的通用性为何做得如此之好？
根据 Google 的 Instruction Tuning 研究工作 FLAN，当模型达到一定规模（e.g. 68B）且 Instruction 任务的类型达到一定数目（e.g. 40），模型就涌现出对新意图的识别能力。OpenAI 从其开放的 API 中收集了全球用户各种任务类型的对话数据，根据意图分类和标注，然后在 175B 参数 GPT-3.5 上进行 Instruction Tuning，自然就涌现出了通用的意图识别能力。
2.为什么面向对话的微调没有遭遇灾难性遗忘问题？
3.ChatGPT的大范围上下文连续对话能力是如何做到的？
4.ChatGPT的交互修正能力是如何炼成的？
5.ChatGPT的逻辑推理能力是如何学到的？
6.ChatGPT是否针对不同下游任务采用不同的解码策略？
7.ChatGPT能否解决事实可靠性问题？
8.ChatGPT能否实现实时信息的学*？
所以，让 ChatGPT 实时进行学*非常困难，一种简单直观的方案就是每经过一段时间就利用新的数据微调 ChatGPT。或者采用触发机制，当多个用户提交相同或相似反馈时触发模型的参数更新，从而增强模型的动态学*能力。
爆火AIGC产品卷翻海外营销：一键搞定美工和拍摄，月活迅速破百万
2023-04-13 13:17·量子位
https://m.toutiao.com/is/AKSJ3b7/
第一批被AI抢饭碗的设计师已经出现了。
随着各个互联网大厂纷纷发布如何将AI工具融入日常工作流中，美工、设计、原画等众多岗位纷纷出现了裁员爆料，毫无疑问这一波AI浪潮的降本增效已经真切开始影响大家的饭碗了。
就在最*，海外一款名为ZMO.AI的生成式营销软件，B端用户月活迅速突破百万，ARR达到300万美金。
据悉，ZMO.AI旗下的AI背景生成生成, 只需商家上传一张产品图，便可以在100%保留产品细节的前提下，依据指令生成成千上万不同风格的背景。
其逼真度堪比大片的商用场景图，无论是光影还是清晰度，都完胜超过10年经验的PS大师。
它家的另一个产品Marketing Copilot，更是只需上传一张产品图，便可从拍摄、到海报制作、到后期投放优化全部嵌入AI workflow的自动化流程，利用AI强大的创造力和分析能力实现运营秒秒钟优化。
机器视觉领域迎来GPT-3时刻！新模型接连炸场 图像识别门槛大幅降低
2023-04-10 09:59·科创板日报
https://m.toutiao.com/is/A7tR16b/
这场AI热潮中鲜见动静的Meta终于出手，推出Segment Anything工具，可准确识别图像中的对象，模型和数据全部开源；
国内智源研究院视觉团队也提出了通用分割模型SegGPT（Segment Everything in Context），这也是首个利用视觉上下文完成各种分割任务的通用视觉模型。
1.正如名字“Segment Anything”一样，该模型可以用于分割图像中的一切对象，包括训练数据中没有的内容；
2.交互方面，SAM可使用点击、框选、文字等各种输入提示（prompt），指定要在图像中分割的内容，这也意味着，用于自然语言处理的Prompt模式也开始被应用在计算机视觉领域。
3.对于视频中物体，SAM也能准确识别并快速标记物品的种类、名字、大小，并自动用ID为这些物品进行记录和分类。
让GPT-4写代码，模拟物理复杂系统中的涌现
2023-03-30 09:20·返朴
https://m.toutiao.com/is/ADEMKtW/
当物理学家与ChatGPT合作，会碰撞出怎样的火花？一位物理学在读博士通过与 GPT-4 合作，成功开发了一个在线可交互物理系统模拟项目，让我们直观看到群体行为中的自组织现象，物理自旋系统中的相变，还有相分离与斑图形成过程。这个项目展示了GPT-4在代码生成和项目实现方面的巨大潜力，也让我们看到，科学家可以借助GPT-4的强大功能，快速开发出高质量的可视化和可交互项目。
程序员教AI写代码，反被取代？谷歌主管：AIGC将在3 年内终结编程
2023-03-09 18:35·InfoQ
https://m.toutiao.com/is/SxNCkya/
*日，前哈佛大学计算机科学教授、谷歌工程主管 Matt Welsh 在芝加哥计算机协会的一个虚拟会议上表示，ChatGPT和GitHub Copilot预示着编程终结的开始。Welsh 断言，生成式 AI 将在 3 年内终结编程。
Welsh 认为，由于 ChatGPT 和 Copilot 等技术的出现，编程正处于从人类工作转变为机器人工作的转折点。在他看来，程序员需要演变成 AI 程序的“老师”——或者产品经理，或者代码评审人员。他认为这两个人类角色相对来说不那么受机器人的影响。“不要指望你的程序员职业生涯会一直持续下去，因为机器正在取代这个角色。”Welsh 说道。
据悉，Welsh 曾在谷歌和苹果公司担任高级工程职位，他曾在 2023 年 1 月出版的《ACM 通讯》杂志上就这一话题写了一篇文章。此外，Welsh 还成立了一家初创公司来证明他的理论。
单卡就能跑的大模型等效GPT-3！Meta发布大语言模型LLaMA
原创2023-02-25 12:21·量子位
https://m.toutiao.com/is/SesWTr1/
ChatGPT的热度稍有平息，蛰伏已久的Meta就迅速放出“大招”：
一次性发布四种尺寸的大语言模型LLaMA：7B、13B、33B和65B，用小杯、中杯、大杯和超大杯来解释很形象了有木有（Doge）。
还声称，效果好过GPT，偏向性更低，更重要的是所有尺寸均开源，甚至13B的LLaMA在单个GPU上就能运行。
超越GPT 3.5的小模型来了！
2023-02-16 15:08·机器之心Pro
https://m.toutiao.com/is/BgDhLNo/
亚马逊的包含视觉特征的 Multimodal-CoT
这篇论文带来的最大收获是多模态特征在解决具有视觉和文本特征的问题时是多么强大。
作者展示了利用视觉特征，即使是小型语言模型（LM）也可以产生有意义的思维链 / 推理，而幻觉要少得多，这揭示了视觉模型在发展基于思维链的学*技术中可以发挥的作用。
从实验中，我们看到以几百万个参数为代价添加视觉特征的方式，比将纯文本模型扩展到数十亿个参数能带来更大的价值。
全栈工程师：刚开通了Bing的ChatGPT，产品的需求就好了。
全栈工程师 2023-02-16 11:49
https://m.toutiao.com/is/BbaXLAB/
刚开通了Bing的ChatGPT，产品的需求就好了。那就试试吧，然后只改了一个csv的文件名，总计耗时一分钟。代码已经跑了。
禁止大型语言模型胡编乱造，给点外部知识，推理靠谱的很
2023-02-09 14:08·机器之心Pro
https://m.toutiao.com/is/BbhQMub/
大型语言模型 (LLM) 已通过 In-context Learning 在各种复杂任务上展现出卓越的性能，并且无需针对特定任务进行训练或微调，*期 prompt 和解码方面取得的进展也使 LLM 解决复杂推理任务变成了现实。
然而，LLM 可能会存储过时、不全面或不正确的知识，要将 LLM 成功部署到实际应用中，外部知识来源（例如维基百科）至关重要。此前，人们尝试将知识用于较小的语言模型 (LM)，例如 T5、BERT 和 RoBERTa，但这些方法通常需要额外的训练或微调，成本高昂，对于 LLM 来说完全不切实际。
基于此，来自罗彻斯特大学、腾讯 AI Lab 和宾夕法尼亚大学的研究者联合提出了一种称为 Rethinking with Retrieval (RR) 的后处理方法，以在 LLM 中利用外部知识。
开源方案复现ChatGPT流程！1.62GB显存即可，单机训练提速7.73倍
2023-02-15 16:12·机器之心Pro
https://m.toutiao.com/is/BqF3q3y/
ChatGPT 的训练流程主要分为三个阶段：
- 从 Prompt 库中采样，收集其人工回答，利用这些数据来微调预训练大语言模型。
- 从 Prompt 库中采样，使用大语言模型生成多个回答，人工对这些回答进行排序后，训练奖励模型（RM），来拟合人类的价值判断。
- 基于阶段 1 的监督微调模型和阶段 2 的奖励模型，利用强化学*算法对大语言模型进一步训练。
其中阶段 3 是 RLHF 训练的核心部分，OpenAI 采用了强化学*中的*端策略优化算法（PPO），借此引入奖励信号，使得语言模型生成内容更加符合人类评判标准。
一日一卡挑战:RTX2080Ti搞定大模型训练,算力节省136倍,学界欢呼
2022-12-30 15:46·机器之心Pro
https://m.toutiao.com/is/keN3Yk6/
在该工作中，人们讨论了基于 transformer 的语言模型在计算量非常有限的环境中可以实现多少性能，值得庆幸的是，几条修改方向可以让我们在 GLUE 上获得不错的下游性能。研究人员表示，希望这项工作可以为进一步的改进提供一个基线，并进一步给*年来为 transformer 架构提出的许多改进和技巧提供理论支撑。
因果推理效果比肩ChatGPT，封神榜推出燃灯模型
2022-12-16 14:30·机器之心Pro
https://m.toutiao.com/is/hma9W2C/
最*，AIGC 行业的火爆得益于人工智能 (AI) 技术的快速发展，元宇宙数字人、游戏 NPC、复杂场景的控制和决策等越来越多的应用对模型认知能力的强烈需求日益凸显。以预训练大模型为基座，着力于探究语言模型的认知能力是 IDEA 研究院认知计算与自然语言研究中心（IDEA-CCNL）“盖亚计划”的重要方向。
“盖亚计划”由 IDEA 研究院认知计算与自然语言研究中心发起，致力于在预训练大模型时代建设 AIGC 的基础设施。
ChatGPT是有点中文在身上：鲁迅、脱口秀甚至世界杯…被玩宕机了
羿阁 2022-12-06 14:14:50 来源：量子位
https://www.qbitai.com/2022/12/40172.html
各大社交平台，最*突然掀起了一股晒聊天记录的热潮。
对方是个有求必应的角色，让它扮演虚拟女友、写论文、编请假理由，通通满足要求。
而这个狠角，就是OpenAI最新发布的聊天AI ChatGPT，自上线那天就被网友称为要“超越谷歌搜索了”。
之后短短几天，其用户量直冲百万级，甚至服务器一度被注册用户挤爆了。
“在所有事情上打败所有人”，微软多模态新作横扫12类任务
羿阁 2022-08-27 13:40:22 来源：量子位
https://www.qbitai.com/2022/08/37270.html
BEiT-3多模态模型
仅靠19亿参数，只用公共数据集，在12个任务上狂刷SOTA（State of the Art，技术发展水平）。
微软这篇多模态论文刚挂上arXiv不久，就在业内引发强烈关注。
有网友将之总结成“在所有事情上打败了所有人”。
ChatGPT火遍全网！来看人工智能如何赋能档案开放审核
https://baijiahao.baidu.com/s?id=1761751607596916635&wfr=spider&for=pc
【专题·人工智能与档案工作现代化】基于数据挖掘技术构建辅助档案开放鉴定模型
https://mp.weixin.qq.com/s/KKP90SNQxMscDYbIjEDOlg
虚拟数字人工种再添大将——“自动著录数字员工”整装待发
https://baijiahao.baidu.com/s?id=1750819144420423939&wfr=spider&for=pc
酷豹AI数字化平台3.0
