如何基于DeepSeek开展AI项目
关注公众号回复1
获取一线、总监、高管《管理秘籍》
书接上文:DeepSeek怎么突然就比肩GPT了?
最近一直在研究DeepSeek,作为应用层的选手,自然不会傻乎乎的想要去了解底层,我的关注点其实一直在成本两个字上,因为这里涉及到了新的AI应用技术路径选择。
过往的AI应用技术路径只有两条,直接调用API,使用微调自己做个领域模型。
但是,自己训练模型有个非常大的问题:几百万RMB丢进去,放个屁就没了...
这不止让CEO心疼,技术负责人心里也会咯噔一下,钱花了东西没做出来,那个心理压力是非常大的,CEO怕不把你屎打出来!
于是基于成本和压力的考虑,业内公司很快的“达成了一致”:直接调用API,偶尔串联下知识库,就是AI应用最佳实践
只不过,这从来都是成本考虑下的最佳实践,而不是真实的最佳实践...
大家可能并不理解是否微调模型对企业的意义,所以我这里补充几句,个人认为:
AI应用的核心是:基于行业KnowHow产生的数据与规则(规则其实是数据的一部分),再结合技术侧的工程能力形成的一套应用
基于常规的API调用方式,最大的问题是企业数据没有用武之地。
再进一步,基于知识库用RAG技术的话,或者基于知识图谱使用工程能力每次动态生成输入提示词,会好点知识库的更新迭代又是一个问题。
如果DeepSeek训练成本极低的化,就会形成第三种开发模式:将知识库训练进基座模型,只不过这里的问题更多,比如自己微调后模型迭代了,是不是又要训练。
综上,以个人实践加之最近的研究来说,以后的AI应用核心会往两个方向发展:
- 更强的知识图谱+更优的基座模型;
- 知识库训练至模型,形成很多小专家模型,模拟Moe(专家模型)架构;
两者其实基本思路类似,一个是数据前置形成规则,并且对工程能力尤为自信;一个是数据直接训练到模型里面,但这里的工程能力要求也没减少...
而两种开发模式都跳不出一个问题:迭代而来的优质数据如何反哺AI应用本身,只要想清楚这三个问题,AI应用开发也就顺畅了。
这里各位做AI应用的,一定要非常注意:如果你的AI应用没有自己的东西,是没有任何壁垒的,因为壁垒都是大模型的...
所以,AI时代的竞争,不再是产品功能的竞争,而是试错速度与资源的竞争,初期决定胜负的是企业的反应速度及基础实力。
在窗口期如何快速沉淀数据形成一层壁垒,如何打造产品配套设施形成二层壁垒,如何快速做出飞轮系统形成最终壁垒,AI应用最终目的可能也很简单:做出比别人好一点点的产品。
综上,我们今天不谈技术,重点聊聊在应用侧应该如何开展AI项目。
团队,成败的起点
之前我们做管理课程就说过,所有的成功看起来与团队没关系,但所有的失败一定是管理出了问题。
做AI项目更是如此,因为AI项目多半需要跨领域融合创新,比如AI律师需要程序员和律师合作、AI医生需要和医生合作、AI教师需要和老师合作...
在过程中互联网从业者可能会遭遇一个巨大的落差:怎么这些高端领域的专家“脑袋不好用”?
专家们“脑袋不好用”,是我过往在AI项目中最直观的感受,他最常见的表现是:
- 固执+偏见,非常固执,觉得自己是对的,AI是错的、程序员更是错的;
- 衍生出来的傲慢,领域专家在与程序员(或者产品)沟通过程中会强势且傲慢,并且表现出不愿意接受新事物的特点,这会让项目进展很慢;
所以,要做AI项目一定不能让领域专家做负责人,一定要让产品或程序员做负责人,否则很容易鸡飞蛋打!
这里的建议是:程序员作为最终实现者,一定要摆正心态!,有两个点:
- 必须深入了解业务,比如AI律师要深入理解律师的判断逻辑,要全吸收;比如AI医生要深入了解医生的诊断逻辑;
- 往前一步,不要想领域专家把这些知识喂给你,很可能他们没有这个建模表达的能力,自己去问,频繁的交流;
换句话说:程序员必须成为领域小专家,这个AI项目才做得出来,也不是要求你能打官司、能看病,但你要有最基本的好坏评价能力!
在程序员对行业有基本认知后,这个AI项目才算真正是开始,也算初步磨合结束。
项目目标
团队磨合结束才能真正探讨AI项目目标边界。
因为之前就算有目标也是拍脑袋提出来的,而且之前团队也不知道能不能实现,并且对实现成本没有概念,所以真正的项目目标是在团队有基本认知后共创的。
而这大概是团队成立后3个月的事情(很可能第一个月还在进行主导权之争,第二个月基本磨合结束,第三个月碰出了技术路径雏形)。
以法律行业的AI为例,不同的目标会产生根本不同的做法:
一、简单业务场景
- 最简单的法律客服,这种简单可以直接掉API,如果复杂点稍微搭建个知识库就完了;
- 客服反馈标签系统,在上述基础上,如果用户咨询量过大,AI还要对所有的对话进行分析,沉淀出需要进一步转换的高价值付费客户。在这个场景下对用户建模后由AI判断即可,也很简单。
二、复杂业务场景
但如果公司想开发出一套具备销售能力的全能AI律师,这就很麻烦了!
在项目目标上便需要一张清晰的表格,标明这个AI律师首先在法律上具备什么功能,其次应该具备什么样的销售能力,这里敷衍的表达下:
能力维度 | 初级表现 | 中级表现 | 高级表现 |
---|---|---|---|
法律知识深度 | 理解基本法律概念,掌握常见法律条款 | 熟悉主流法律法规和案例,能正确引用相关法律依据 | 深入理解专业领域法律条文,能进行复杂的法律分析 |
法律问题分析 | 能识别简单的法律问题并给出基本建议 | 能独立分析常见法律问题,提供较为细致的解决方案 | 能处理复杂或跨领域的法律问题,提供创新的法律建议 |
法律文书撰写 | 能撰写简单的法律文件,如合同或声明 | 能独立起草合同、协议、律师函等常规法律文件 | 能撰写复杂法律文件并确保文书的法律效力,保障客户利益 |
诉讼与调解能力 | 能了解基本诉讼流程,提供简单的诉讼建议 | 熟悉诉讼程序,能独立处理常规案件 | 在复杂案件中能够设计战略性诉讼计划,精通调解技巧 |
风险评估与合规性 | 能识别明显的法律风险,提供基础的风险评估 | 提供详细的法律风险分析,能提出合规性建议 | 提供前瞻性的法律风险预测,确保客户在复杂环境中保持合规 |
销售能力维度 | 初级表现 | 中级表现 | 高级表现 |
---|---|---|---|
客户需求识别 | 能基本识别客户的法律咨询需求并提供初步解答 | 能深入了解客户需求,分析其面临的法律问题并提供针对性建议 | 能精准识别客户潜在需求,通过深度沟通为客户提供个性化法律服务方案 |
法律服务推介 | 能向客户简单介绍服务内容,建议合适的法律服务产品 | 根据客户需求,推荐适合的法律服务,并阐明其价值与效果 | 在与客户沟通时,结合具体法律问题推荐综合解决方案,帮助客户理解服务的长期价值 |
销售引导能力 | 能回答客户的常见问题,提供简单的服务推荐 | 在法律咨询过程中,能够引导客户理解并逐步明确其服务需求 | 能通过专业的法律服务建议,自然引导客户购买更多法律服务或更高阶的产品 |
客户关系建立与信任 | 通过常规沟通建立初步信任关系,解答基本法律疑问 | 通过提供详细的法律建议,增强客户对服务的信任并提高满意度 | 与客户建立深度信任关系,成为客户的长期法律顾问,并通过持续服务强化客户忠诚度 |
咨询转化与成交机会 | 能识别客户的购买兴趣并提出简单的服务套餐 | 能通过沟通提高客户的购买意愿,并促使其关注更多法律服务 | 能在咨询过程中精准把握客户的购买动机并有效转化为实际交易,促成高价值服务销售 |
这里是非常简单的表达(我也不可能给出真正的标准,哈哈),这里的核心是什么呢?
核心是:你如果想做AI项目,那么要先提出你对这个项目的衡量标准,至少要提出什么是好,没有目标的AI项目容易走偏
最后,只有AI项目目标清晰的前提下,才能知道该选什么基座模型,什么技术路径,对目标的边界清晰后,对AI能力边界的要求也就清晰了,这样就不会被不断迭代的AI裹挟,也就不会焦虑。
技术选型
在团队磨合好,把目标搞清楚,然后就可以进行技术选型了,最基础的无非三个:
对比维度 | 提示词 | RAG | 微调 |
---|---|---|---|
定义 | 通过优化输入文本,引导现有模型生成预期结果 | 将外部检索系统与模型结合,增强生成内容的准确性 | 使用特定领域数据对模型进行二次训练,提高定制化能力 |
开发成本 | 极低,无需模型修改 | 中等,需要搭建检索和存储系统 | 高,需要大量优质数据和计算资源 |
技术复杂度 | 低 | 中等,需整合检索系统和模型 | 高,涉及数据清洗、标注和训练流程 |
适用场景 | 灵活、轻量级需求,如客服对话、创意文案 | 需要实时更新或动态领域知识,如医疗、法律咨询 | 高精度、高专业性需求,如金融分析、企业知识问答 |
优点 | 快速、无成本、简单易用 | 知识扩展能力强,适合知识动态变化的场景 | 效果精确,满足专业化和领域化需求 |
局限性 | 受限于基础模型能力,难以满足高专业性或精度需求 | 对检索系统和知识库质量依赖较大 | 开发周期长,成本高,不适合快速变化的需求 |
响应速度 | 快 | 较快,但受检索系统效率影响 | 较慢,需事先完成模型训练 |
扩展性 | 高,直接基于现有模型 | 中等,依赖知识库更新与维护 | 低,需重新训练模型 |
典型应用 | 客服自动回复、生成文案、创意触发 | 医疗问答、法律建议、实时行业动态 | 行业专用AI工具、精准预测分析 |
只不过这里的微调策略可以再往后一个月再考虑,AI云平台会提供很多工具,而且过段时间可能成本更低。
与技术选型相比,产品实现路径反而更为重要。
产品实现路径
PS,这里涉及敏感信息,我做简要说明即可
基础技术选型问题不值一提,他们既可以混用又可以不停转换,我们实际做开发过程中大概率三条路径都会用,所以这里的重点不是基础技术的选择而是产品实现路径的思考。
这里的核心为:模型只是一个API调用工具,工程实现是核心。
实际实现时候需要考虑几个点:
- 单纯基于大模型当前AI产品能达到的极限是什么,问题是什么;
- 基于AI产品的行业KnowHow是什么;
- 要打破AI产品的极限,需要的优质数据(数据+工程规则)是什么;
- 如何用工程的能力组织这套AI架构,实现数据、工程自迭代,最终形成飞轮系统;
具体来说:大模型的工作模式是输入输出:输入 -> Prompt -> 输出。
所有的工程能力全部会体现在这个Prompt,所谓Prompt就是我们对规则理解的文字化。
比如要做的是AI律师,这里的Prompt就是某著名律师这10多年的经验。
这个经验是理解用户问什么,然后给予他正确的法律反馈,如何给予用户正确的反馈,这就是该合伙人需要给技术工程的优质数据,也就是AI律师需要的输入输出规则。
而这里的“优质数据又是如何形成的呢?”答案是基于10几年律师问答的总结整理,他需要深刻理解关于输入输出五个部分:
- 大量输入(输入材料的相关性);
- 输入正确(输入材料的正确性)
- 输入可理解(输入材料的多样性,泛化相关思考)
- 输出假设和及时反馈(强化学习的关键)
- 检索强化(如果有知识图谱,可能会用到的)
但大模型是一个新生事物,他所需要的优质数据/规则数据在以往时代大概率没有系统性的、完整性的存在。
因此,很多AI产品的推出都会有一个优质数据准备的阶段,在这个时间窗口下,对所有人都是一个机会。
只要将“优质数据”(数据+规则)是什么搞清楚,产品的实现路径自然而然就出来了。
而后的问题就是工程侧如何将这一切循环优化起来,形成一套飞轮系统,一旦飞轮系统形成,跟其他公司的差距就拉开了。
飞轮系统
就个人认知,想要延伸基座模型的能力只有两个做法:
第一是构建一套自己的行业知识库(知识图谱)。每次输入前将相关信息带上,如图所示:
第二是基于“行业知识库”形成多套微调数据,去训练模型。每次输入输出会变成这样:
第一套架构复杂起来会形成一个庞大的知识图谱、第二套其实就是MoE架构的雏形。
两套系统看似不同,其核心其实类似,都包括两点:
- 路由规则的优化;
- 专家模型如何优化;
所以在基础架构搭建完成后,真正困难的是工程控制:如何用海量优质增量数据去优化模型本身,这就是所谓飞轮系统。
其实这里的核心是:优质数据哪里来?,他包括:
- 初期数据哪里来?
- 中期哪里来?
- 后期哪里来?
初中期的数据与规则
首先,第一批少量优质数据的整理多半需要跨领域融合,比如律师+技术。
只不过,如果以律师+程序员的方式要产出数据成本是很高的,因为好的律师会很高傲;他很难配合程序员的工作,而程序员要达到律师行业的KnowHow是需要大量的时间的。
所以,程序员或者产品必须主动上前,软磨硬泡把核心规则与样例数据搞到手,而后必须有其他手段去处理这种矛盾,这里的核心有二:
- 程序员群体必须有基本KnowHow;
- 对行业专家(律师、医生)的使用方式要变;
KnowHow在这个合作模式喜爱要分为三个部分:
- 第一是知道怎么做——程序员必须会;
- 第二是知道找谁做——遇到规则问题程序员需求助领域专家;
- 第三是知道好不好,这里的核心是评价——让领域专家对应用打分;
经过一轮磨合,这对于程序员是比较轻松的,最终形成的合作模式是:AI产出数据,行业专家评价效果,根据效果优化数据,最终形成数据集+规则。
数据反馈回路
AI应用的优化依赖于数据反馈回路,即通过建立一个自我增强的飞轮系统,实现持续的自我优化。
以DeepSeek R1为例,初期通过少量专家标注数据启动,但关键在于后续的数据再生和强化学习。
机器通过自我探索和反复调整,逐步减少偏差,提升准确性,形成一个有效的反馈回路。
这种方式与传统监督学习不同,后者依赖人工标注数据的直接关系,而强化学习通过自主学习和数据再生,不断调整策略。
成功的飞轮系统不仅依赖专家数据,还需大量高质量数据的自动生成和修正。
技术与行业专家的合作,是推动飞轮系统有效运转的关键。然而,数据偏差和结果偏离可能是挑战,需要依赖飞轮系统的自我校正来精准化数据和反馈。
AI应用的飞轮系统需要耐心,因为优化过程是渐进的。关键在于建立持续的反馈机制和自我修正能力,推动数据的有效利用,进而提升系统的长期表现。
粗浅的案例
依旧以AI律师团队为例,他的团队组织可以是这样的:
角色 | 职责描述 | 要求 |
---|---|---|
技术负责人 | 作为团队的核心,负责技术决策、产品技术可行性、进度把控和质量控制。需要协调产品、律师和其他团队成员的工作,确保AI模型的开发顺利推进。 | 深厚的技术背景,跨部门沟通能力,较强的项目管理和团队协调能力。 |
产品负责人 | 与客户对接,理解需求并将其转化为具体的产品功能需求。需要与律师、技术团队紧密合作,确保AI律师符合用户需求,并能落地实际应用。 | 熟悉产品管理,能够进行需求分析并转化为开发任务,具备一定的法律知识。 |
律师专家团队 | 提供法律领域的专业知识和案例支持。与技术和产品团队共同探讨AI律师的核心能力,并定义AI律师的基本认知。 | 具备深厚的法律背景,能够根据不同业务场景提供专业的法律指导。 |
数据团队与工程支持 | 负责收集、清洗和组织数据,为模型训练提供支撑,确保数据的准确性和合法性。同时监控模型的表现,并提供必要的数据支持。 | 熟悉数据处理和清洗,具备数据监控与评估能力,能为AI系统提供高质量的数据。 |
而后团队核心成员需要频繁讨论并共同制定出一套AI律师的基本规则。这些规则将成为AI律师模型的基础输入。
这里举个例子,如果我们要训练一个能够判断盗窃犯罪的AI律师系统,可以根据如下规则来设计相应的Prompt提示词:
- "判断某人是否涉嫌盗窃犯罪,根据以下信息提供法律分析:
- 被告的行为:
- 被告的意图:
- 被告的行为方式:
- 法律条文:
- 根据上述输入信息,AI律师判断该行为是否属于盗窃犯罪,并提供相应的判刑依据。"
能力维度 | 初级表现 | 中级表现 | 高级表现 |
---|---|---|---|
案件事实识别 | 能识别基本的盗窃案件信息,如是否存在非法占有行为 | 能结合行为方式和意图判断是否符合盗窃的标准 | 能准确根据案例细节判断复杂案件是否涉及盗窃犯罪 |
法律条文适用 | 能引用基本的盗窃犯罪定义和简单的判刑标准 | 能结合不同案例,引用多条相关条文并进行综合分析 | 能精确判断具体案件中多个法律条文的适用并给出法律依据 |
案件分析 | 基于案件事实能给出初步的犯罪判断 | 能结合案件中的特殊情况,提供详细的法律分析和建议 | 能针对复杂案件提供创新性的解决方案并给出判刑建议 |
判刑建议 | 能提供基本的判刑建议,如最小或中等刑期 | 能根据案件的严重性提供较为细致的判刑建议 | 能根据案件复杂度和影响力提供具体、定制化的判刑建议 |
表格的作用是形成一套判断标准,确保AI律师系统能依据规则进行判断。
这变相要求输入与输出之间的映射关系要遵从这个表情,所以团队需要提供用于强化学习或者微调的基本数据集,他大概长这样:
样例数据集
数据编号 | 案件事实识别 | 法律条文适用 | 案件分析 | 判刑建议 |
---|---|---|---|---|
样例数据 1 | 案件描述:被告在商店中将手机放入背包,未支付费用,商店监控显示其有盗窃意图。 行为描述:被告未与商店员工交涉,迅速放入背包并试图离开。 案件性质:盗窃。 |
法律条文:中华人民共和国刑法第264条,盗窃行为依法定罪,情节严重的,处三年以下有期徒刑或拘役,情节特别严重的,处三年以上十年以下有期徒刑。 | 初步分析:行为符合盗窃罪的构成要件,情节较轻。 法律分析:案件属于典型盗窃,未事先征得商店同意,非法占有行为。 |
判刑建议:拘役3个月,或罚款。 |
样例数据 2 | 案件描述:被告夜间闯入邻居家,盗走现金和珠宝。被告承认盗窃行为,称因贫困才作案。 行为描述:带着工具破坏窗户进入家中,盗窃现金和珠宝。 案件性质:盗窃。 |
法律条文:中华人民共和国刑法第264条,盗窃金额达到法定标准或其他恶劣情节时,将加重处罚。 | 初步分析:行为符合盗窃罪,偷窃物品价值较大,且有工具破坏行为,情节严重。 法律分析:符合盗窃罪的从重处罚条件。 |
判刑建议:判处3至5年有期徒刑,并追缴赃物。 |
样例数据 3 | 案件描述:被告与其他人一起盗窃,群众发现报警后被捕。 行为描述:与同伙联合作案,盗窃市中心商场商品,最终被捕。 案件性质:盗窃。 |
法律条文:刑法第26条,盗窃案中有多个共犯,主犯和从犯应依法分别量刑,量刑时需考虑案件社会影响。 | 初步分析:案件涉及多个作案人,且有计划性,情节较复杂。 法律分析:需要对共犯进行量刑,主犯和从犯的判决不同。 |
判刑建议:判处2至3年有期徒刑,追缴部分赃物。 |
样例数据 4 | 案件描述:被告盗窃背包中的现金和银行卡,受害人几小时后报案。 行为描述:在公园内悄悄偷取背包中的物品,事后监控拍到并被警方追踪。 案件性质:盗窃。 |
法律条文:刑法第264条,盗窃银行卡、现金等特定物品的,从重处罚。 | 初步分析:盗窃行为符合盗窃罪的构成要件,且包含银行卡和现金,价值较高。 法律分析:符合从重处罚的条件。 |
判刑建议:3至5年有期徒刑,并处罚款,追缴部分赃物。 |
样例数据 5 | 案件描述:被告因生活困难盗窃超市物品,包括食品和日用品,盗窃价值较低。 行为描述:在超市内将商品放入包中,未支付就准备离开,被拦截后报警。 案件性质:盗窃。 |
法律条文:刑法第264条,盗窃金额较少且表现悔过态度的,可以从轻处罚。 | 初步分析:盗窃金额较低,且动机源自生活困难。 法律分析:考虑到案件轻微,法院可从轻处罚。 |
判刑建议:判处6个月至1年有期徒刑,视情况缓刑。 |
而后再进行基础的技术选型以及飞轮系统等的实现了,但因为后续内容过于技术,我这里就不展开了。
结语
前几天在尝试复刻DeepSeek后,其实是有一种对高端技术的反差感的:
依赖现成工具、预设代码(几百行代码而已)和整理好的数据集,再找几张GPU卡跑数据,整个过程就像是简单重复的循环,于是模型就训练出来了?
只能说,现有的开源工具和框架确实大大降低了训练门槛,可以轻松地构建出一个训练流程。
做完这些动作,个人感觉做好AI应用和理解这些实操细节关系还真不大...
在大模型训练中,很多底层技术实际上都是黑盒,普通工程师根本碰不到,看到也搞不懂,所以别为难自己了...
工程同学应把重心放在业务理解,结合业务去创新,尽快形成数据反馈的正向循环,才能实现AI产品的持续迭代。
![](https://img2022.cnblogs.com/blog/294743/202202/294743-20220216140902628-1163053035.png)
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek-R1本地部署如何选择适合你的版本?看这里
· 开源的 DeepSeek-R1「GitHub 热点速览」
· 传国玉玺易主,ai.com竟然跳转到国产AI
· 揭秘 Sdcb Chats 如何解析 DeepSeek-R1 思维链
· 自己如何在本地电脑从零搭建DeepSeek!手把手教学,快来看看! (建议收藏)