摘要:
0 前言 M芯片Mac想跑大模型,强烈推荐LM Studio。因为它支持专门为M系列芯片优化过的模型文件,运行速度快了不止亿点点!intel mac 不支持哦! 本地运行大模型的工具中,LM Studio和Ollama是最受欢迎的两款。最近LM Studio新增了对MLX的支持。 1 MLX是啥? 阅读全文
摘要:
0 前言 软件架构——我们数字世界的蓝图——自20世纪中叶计算机时代诞生以来,已经发生了巨大演变。 20世纪60年代和70年代早期,以大型主机和单体软件为主导。而今天,数字领域已完全不同,运行在由云计算、API连接、AI算法、微服务和编排平台组成的分布式网络上。 软件架构是如何随着岁月演变的?回顾几 阅读全文
摘要:
0 引言 Redis 作为一种高效的内存型键值数据库,得益于其底层数据结构的精妙设计。对于 List 类型的数据,Redis 从早期的简单链表(linkedlist),到压缩列表(ziplist),再到如今的 quicklist 和 listpack,不断优化以平衡内存利用率和性能。这篇文章将深入剖 阅读全文
摘要:
0 关键收获 单元化架构提高了微服务的弹性和容错性。 可观察性对于开发和运营单元化架构至关重要。 单元路由器是单元基础架构的关键组件,它需要快速响应单元可用性和健康变化。 要成功采用单元化架构,需要全面和综合的方法来实现可观察性。 单元化架构利用与微服务相同的可观察性支柱,但需要定制以适应这种架构特 阅读全文
摘要:
0 关键收获 单元化架构通过减少故障的爆炸半径来增加系统弹性 单元化架构是那些任何停机时间都被认为是不可接受的,或者可以显著影响最终用户的系统的一个好选择 单元化架构通过强制使用固定大小的单元作为部署单元,并倾向于扩展而不是扩展的方法,增强了微服务的可伸缩性模型 单元化架构通过将各种组件(可能是微服 阅读全文
摘要:
0 前言 最近的文章中,我们详细介绍了当我们迁移到 Java 21 并将代际 ZGC 作为默认垃圾收集器时,我们的工作负载是如何受益的。虚拟线程是我们在这次迁移中兴奋采用的另一个特性。 对虚拟线程新手,它们被描述为“轻量级线程,大大减少编写、维护和观察高吞吐量并发应用程序的工作量。”威力来自在阻塞操 阅读全文
摘要:
0 前言 Agent是一个使用大语言模型决定应用程序控制流的系统。随着这些系统的开发,它们随时间推移变得复杂,使管理和扩展更困难。如你可能会遇到: Agent拥有太多的工具可供使用,对接下来应该调用哪个工具做出糟糕决策 上下文过于复杂,以至于单个Agent无法跟踪 系统中需要多个专业领域(例如规划者 阅读全文
摘要:
0 前言 在数据分析领域快速发展的今天,通过自然语言与数据交互的能力变得越来越有价值。对话式分析旨在使复杂数据结构对没有专业技能的用户更易于访问。 LangGraph 是个框架,用于构建使用语言模型的状态化、多代理应用程序。Waii 提供文本到 SQL 和文本到图表的功能,使用户能够通过自然语言与数 阅读全文
摘要:
1 新建一个实时搜索工具 @tool def web_search(query: str): """ 实时搜索工具 """ serp = SerpAPIWrapper() result = serp.run(query) print("实时搜索结果:", result) return result 阅读全文
摘要:
0 前言 随LLM技术演进,AI应用开发部署越来越复杂。LangServe应运而生,旨在简化AI服务部署和运维的框架。专为LLM部署和管理而设计;本文旨在讲解LangServe的功能特点和实践运用。 1 概述 LangServe 提供一整套将LLM部署成产品服务的解决方案。可将LLM应用链接入常见P 阅读全文