奔跑的蜗牛·老牛同学

摘要： vLLM默认并不支持纯CPU模式部署和推理模式，老牛同学应网友要求，根据vLLM官网整理vLLM在CPU模式下如何部署和推理大语音模型，并以Qwen2为了进行验证和演示…… 阅读全文

摘要： PyTorch 是一个开源的机器学习框架，可以方便地进行神经网络模型训练和推理。本文基于 PyTorch 演示了一个非常简单但是功能齐全的神经网络训练过程，无论模型权重有多大，使用 TyTorch 训练的过程是类似的，期望本文能启到抛砖引玉的作用…… 阅读全文

摘要： 阿里云百炼平台发布推文，提供30天免费算力额度，助力玩转 Llama3.1 训练推理。老牛同学首当其冲，去体验一把，本文详细记录了整个过程，同时给出了老牛同学的一些想法，欢迎交流学习…… 阅读全文

摘要： 本教程详细介绍了 LoRA 参数高效微调技术，包括数据集准备和处理、模型加载、参数设置等，然后以 Qwen2-0.5B 预训练模型实践，进行了文本分类能力微调，微调过程通过 SwanLab 可视化界面查看，最终微调模型进行测试数据评估…… 阅读全文

摘要： 数字人最近比较火，LivePortrait 是快手、中科大和复旦大学联合研发的开源的图生视频模型，比较适合个人、小团体和企业等用于生成自己的数字化人物视频。老牛同学尝试通过本教程，详细介绍如何在本地部署和生成专业视频…… 阅读全文

摘要： Ollama可以非常方便的管理和部署我们本地大语言模型，老牛同学希望通过本文对Ollama进行一次详细介绍，包括本地大模型管理和使用、WebUI对话界面部署、通过Python和Java使用Ollama的API接口等…… 阅读全文

摘要： 大语言模型在垂直细分领域存在知识局限、幻觉、数据安全等一些问题，可通过RAG（检索增强生成）方案来解决。本文基于AnythingLLM框架，搭建团队私有知识库系统，并进行使用和验证，RAG系统在保留输出的有效性同时，还保留了创造性…… 阅读全文

摘要： 阿里Qwen2-72B大模型已是开源榜的王者，为什么还要推出其他参数模型，被其他模型打榜？ 阅读全文

摘要： Google 重磅发布了最新版大语言模型Gemma 2，其中 90亿 参数版本适合我们个人在笔记本本地部署，老牛同学通过本文和大家一起，通过2种方式快速部署和体验，当然这2种快速部署模型的方式，也同样适用于其他大模型…… 阅读全文

摘要： 代码辅助工具（Code Copilot）可以提高团队代码研发效率，能有效帮助产品快速上市抢占先发优势，但同时又需要保证代码和信息隐私，私有化Code Copilot是保护隐私的重要手段。老牛通过本文，详细介绍通过开源大模型，部署私有化Code Copilot和使用教程…… 阅读全文

摘要： 大模型应用研发的第一步，就是研发环境的配置，好的工具和环境是提升研发效率的关键，最基础的配置包括Miniconda包管理器、Python SDK、Jupyter Lab WebIDE、Node.js SDK、Ollama本地模型管理器、Ollama WebUI可视化对话界面等…… 阅读全文

摘要： Phi 是微软AI研究院新推出的开源小型语言模型，适用于商业使用，其优势在于体积小、资源需求少，被称为“一个能跑在手机上的大模型”，我们通过Termux和Ollama工具，在我们手机上部署和体验…… 阅读全文

摘要： 360推出AI搜索、浏览器及甄选平台，通过流量曝光优秀AI工具，OpenAI收购Rockset实时数据分析能力，华为发布盘古大模型5.0，Anthropic推出Claude3.5超越OpenAI的GPT-4o，华为发布自研编程语言仓颉，提供AI辅助工具，国内科技公司竞争核心在于持续吸引顶尖AI人才…… 阅读全文

摘要： 我们编写好的应用程序、或者本地部署的大模型，想临时分享给外网访问以进行功能演示，通过ngrok内网穿透软件，可以快速满足我们的需求…… 阅读全文

摘要： Stability AI正式开源了Stable Diffusion 3 Medium 文生图大模型，它仅20亿参数，就能够生成更高质量和更细腻的图片；因模型尺寸较小，它适合在个人PC、笔记本电脑上运行。老牛同学手把手部署和体验SD3…… 阅读全文