随笔分类 - AI
AI
摘要:一、前言 - ChatGPT真的产生心智了吗? 来自斯坦福大学的最新研究结论,一经发出就造成了学术圈的轰动,“原本认为是人类独有的心智理论(Theory of Mind,ToM),已经出现在ChatGPT背后的AI模型上”。所谓心智理论,就是理解他人或自己心理状态的能力,包括同理心、情绪、意图等。这
阅读全文
摘要:在人工智能领域的不断发展中,语言模型扮演着重要的角色。特别是大型语言模型(LLM),如 ChatGPT,已经成为科技领域的热门话题,并受到广泛认可。
在这个背景下,LangChain 作为一个以 LLM 模型为核心的开发框架出现,为自然语言处理开启了一个充满可能性的世界。
借助 LangChain,我们可以创建各种应用程序,包括聊天机器人和智能问答工具。
阅读全文
摘要:1.比较 LLaMA、ChatGLM、Falcon 等大语言模型的细节:tokenizer、位置编码、Layer Normalization、激活函数等。2. 大语言模型的分布式训练技术:数据并行、张量模型并行、流水线并行、3D 并行、零冗余优化器 ZeRO、CPU 卸载技术 ZeRo-offload、混合精度训练、激活重计算技术、Flash Attention、Paged Attention。3. 大语言模型的参数高效微调技术:prompt tuning、prefix tuning、adapter、LLaMA-adapter、 LoRA。
阅读全文
摘要:本文将从“样本处理”,“模型开发”,“实验管理”,“工具链及可视化“ 几个角度介绍基于 tranformers 库做的重新设计,并简单聊聊个人对“软件2.0”的看法。
阅读全文
摘要:技术概述 AIGC 在图像生成领域如火如荼,StableDiffusion 加各种 LORA,ControlNet,大家玩得不亦乐乎。但是基于扩散模型的方式,仍然存在很多问题,比如抽卡成功率过低,生成图像的细节仍需优化。具体到二维码生成,目前 hugging face 上的几个 ControlNet
阅读全文
摘要:传统搜索系统基于关键字匹配,在面向:游戏攻略、技术图谱、知识库等业务场景时,缺少对用户问题理解和答案二次处理能力。本文探索使用大语言模型(Large Language Model, LLM),通过其对自然语言理解和生成的能力,揣摩用户意图,并对原始知识点进行汇总、整合,生成更贴切的答案。关于基本思路,验证效果和扩展方向,可以参考正文的介绍。
阅读全文
摘要:随着 ChatGPT 的横空出世与 GPT-4 的重磅登场,生成式 AI(Generative AI)引起了前所未有的关注,基于 GPT(Generative Pre-Trained Transformer)的模型在各类 NLP 和 CV 任务上取得了惊人的效果。生成式 AI 模型可以根据训练过的数
阅读全文
摘要:一起探索 Prompt Engineering 的奥秘,并学习如何用它来让 ChatGPT 发挥出最大的潜力。
阅读全文
摘要:简介 在本次分享中,想跟大家探讨ChatGPT技术产品的落地实践,从技术架构的角度出发,剖析GPT模型的核心原理、关键技术以及实际应用场景。将从以下几个方面展开讨论: 1. ChatGPT模型概述:首先,简要介绍ChatGPT(Chatbot based on Generative Pre-trai
阅读全文
摘要:大规模语言模型 (LLM) 拥有大量的数据来源,能针对用户提出的问题提供不同形式的回答,但其回答形式仅限于“文本”。尽管文本内容清晰,但在包含复杂逻辑或需要向外展示的场景下,文本表达存在局限性。可以想象,将“文本” 转换为“可视化” 分析模型甚至UI界面将具有更出色的效果。本文将汇总关于这种场景的探索和实现思路。
阅读全文
摘要:今天给大家带来的这份书单推荐,是由ChatGPT给出,邀请了鹅厂同事一起筛选、撰写了推荐语。书单涵盖了计算机科学和编程领域的一些经典书籍,涉及编程思维、编程语言、算法、系统和网络等方面。无论是初学者,还是经验丰富的开发者,这些推荐的书籍都能为你提供很好的参考。能帮助我们提高编程技能、拓展知识视野,增强解决问题的能力。
在这个快速变化的时代,我们需要不断充实知识,激发创新思维。本期书单推荐,让我们一起跟随技术时代的潮流,多读书多进步。
阅读全文
摘要:本文探究ChatGpt等AI机器人能否帮助老板快速的做数据分析?用自然语言同老板进行沟通,满足老板的所有数据分析的诉求?
阅读全文
摘要:ChatGPT,可以说是今年最火的一个科技名词。随着这几个月的发展,我们看到有越来越多的ChatGPT与数据库结合的应用出现。这也不禁令人畅想,未来ChatGPT与数据库的结合,能擦出什么火花?DEV、DBA未来会失业吗?本文尝试阐述下未来两者的结合前景。
阅读全文
摘要:ChatGPT 是一种强大的自然语言处理模型。在工作中,我们可以借助其卓越的自然语言生成能力,快速检索代码信息,使程序员们能更加专注于业务逻辑的实现和优化。然而,由于它的知识库仅覆盖至 2021 年 9 月前的信息,一些新的技术文档无法被查询到,例如我们公司前端经常使用的开源框架 TDesign。本文讲解了本人为了解决这一痛点的实验过程,即通过应用 embedding 技术并结合 AST 解释器,实现了对 TDesign 代码知识库的自然语言查询。在 30 个常见用例的测试下,查询精度达到了 90%。常用组件的检索时间从平均 10 分钟缩短至 2 分钟,从而提升了前端研发效率 20%。
阅读全文
摘要:目前看到的最通俗易懂、由浅入深的图解机器学习和GPT原理的系列文章,这是第一篇,由我和 GPT-4共同翻译完成,分享给大家。
阅读全文
摘要:Stable Diffusion 技术把 AI 图像生成提高到了一个全新高度,文生图 Text to image 生成质量很大程度上取决于你的提示词 Prompt 好不好。本文从“如何写好提示词”出发,从提示词构成、调整规则和 chatGPT 辅助工具等角度,对文生图的提示词输入进行归纳总结。
阅读全文
摘要:“AI 的 iPhone 时刻到来了”。非算法岗位的研发同学'被迫'学习 AI,产品岗位的同学希望了解 AI。但是,很多自媒体文章要么太严谨、科学,让非科班出身的同学读不懂;要么,写成了科幻文章,很多结论都没有充分的逻辑支撑,是‘滑坡推理’的产物。这篇文章从底层讲起,却不引入太多概念,特别是数学概念,让所有人都能对大模型的核心概念、核心问题建立认知。文章末尾也为需要严肃全面地学习深度学习的人给出了建议。
阅读全文
摘要:内容生产,特别是创意工作,一向被认为是人类的专属和智能的体现。牛津大学计算机学院院长迈克尔·伍尔德里奇 2019 年写作的《人工智能全传》一书中,“撰写有趣的故事”被列为人工智能“远未实现”的任务之一。
如今,AI 正大步迈入数字内容生产领域。AIGC(AI Generated Content)不仅在写作、绘画、作曲多项领域达到“类人”表现,更展示出在大数据学习基础上的非凡创意潜能。2023 年 3 月 15 日,多模态信息处理标杆 GPT-4 模型正式发布,使生成内容的准确度及合规性进一步提升。数字内容生产的人机协作新范式正在形成,创作者和更多普通人得以跨越“技法”和“效能”限制,尽情挥洒内容创意。
也有人担忧,AI 是否会让创作者们集体“失业”,甚至让“创作”本身走向衰颓,就像机械复制时代的艺术品可能失去“灵晕”那样。换言之,AIGC 的流行给了我们一个重新审视“创作”是什么,是否为人所独有这些问题的机会。
本文将分析 AIGC 改变数字内容创作的现状、关键突破和挑战,并尝试探讨以上问题。
阅读全文
摘要:随着 ChatGPT、Midjourney、Stable Diffusion 等现象级应用的广泛使用,大模型的安全性受到了学术界和产业界的广泛关注。现有的研究热点主要围绕两方面:
(1)利用 SFT 与 RLHF 等技术将大模型与人类偏好对齐,从而提升大模型自身的安全性。
(2)针对不同场景设计专用内容过滤器。除了大模型服务系统自身的安全性之外,如何防止大模型引发其他类型的风险也是值得注意的方向,本研究全面地讨论了大模型对于现有数字黑灰色产业的革新以及如何利用大模型自身的能力构建下一代的风控系统,针对一些具体的案例,我们给出了详细的上下游作恶手法还原,以此警示大家注意防范生成式 AI 引发的新型风险。
本文由 AI lab,SSV 公益平台部,PCG 画像平台中心,三方合作完成,旨在吸引对于 AIGC 在风控场景引发的风险的重视及提出一些解决思路。
阅读全文
摘要:在日常开发中经常遇到运营审核经销商活动、任务等等类似业务需求,大部分需求中状态稳定且单一无需使用状态机,但是也会出现大量的if...else前置状态代码,也是不够那么的“优雅”。随着业务的发展、需求迭代,每一次的业务代码改动都需要维护使用到状态的代码,更让开发人员头疼的是这些维护状态的代码,像散弹一样遍布在各个Service的方法中,不仅增加发布的风险,同时也增加了回归测试的工作量。
阅读全文