摘要：经常接触机器学习的同学可能都接触过Gradio这个框架，Gradio是一个基于Python的专门为机器学习项目创建的快速开发框架，可以让开发者快速发布自己的模型给用户测试，目前Huggingface上的机器学习项目都是基于Gradio对外提供服务的。 阅读全文
（赠书）国产开源视觉语言模型CogVLM2在线体验：竟能识别黑悟空
2024-09-06 12:43 by 萤火架构, 71 阅读, 0 推荐, 收藏, 编辑
摘要：CogVLM2是一款视觉语言模型（Visual Language Model），由智谱AI和清华KEG潜心打磨。这款模型是CogVLM的升级版本，支持高达 1344 * 1344 的图像分辨率，提供支持 中英文双语 的开源模型版本。 这类模型可以做很多跨领域的活儿，比如给图片配上描述文字、回答关于图 阅读全文
十分钟搞懂机器学习中的余弦相似性
2024-07-15 12:45 by 萤火架构, 945 阅读, 2 推荐, 收藏, 编辑
摘要：在机器学习中，我们经常会使用余弦函数来计算向量之间的相似性。从推荐系统到自然语言处理，再到计算机视觉，余弦相似性在多种机器学习应用中都有其独特的价值。它不仅限于特定领域，而是几乎可以在任何需要比较向量相似度的场景下使用。 阅读全文
StackExchange.Redis跑起来，为什么这么溜？
2024-05-27 08:29 by 萤火架构, 955 阅读, 7 推荐, 收藏, 编辑
摘要：StackExchange.Redis 是一个高性能的 Redis 客户端库，主要用于 .NET 环境下与 Redis 服务器进行通信，大名鼎鼎的stackoverflow 网站就使用它。它使用异步编程模型，能够高效处理大量请求。支持 Redis 的绝大部分功能，包括发布/订阅、事务、Lua 脚本等。由 StackExchange 团队维护，质量和更新频率有保障。这篇文章就来给大家分享下 StackExchange.Redis 为什么玩的这么溜。 阅读全文
扎克伯格说，Llama3-8B还是太大了，量化、剪枝、蒸馏准备上！
2024-04-25 08:09 by 萤火架构, 1233 阅读, 1 推荐, 收藏, 编辑
摘要：扎克伯格说，Llama3-8B还是太大了，不适合放到手机中，有什么办法？ 量化、剪枝、蒸馏，如果你经常关注大语言模型，一定会看到这几个词，单看这几个字，我们很难理解它们都干了些什么，但是这几个词对于现阶段的大语言模型发展特别重要，它们就是将模型缩小的利器。这篇文章就带大家来认识认识它们，理解其中的原 阅读全文
Llama3-8B到底能不能打？实测对比
2024-04-23 13:22 by 萤火架构, 7400 阅读, 2 推荐, 收藏, 编辑
摘要：前几天Meta开源发布了新的Llama大语言模型：Llama-3系列，本次一共发布了两个版本：Llama-3-8B和Llama-3-70B，根据Meta发布的测评报告，Llama-3-8B的性能吊打之前的Llama-2-70B，也就是说80亿参数的模型干掉了700亿参数的模型，这个还真挺让人震惊的。 阅读全文
十分钟学会微调大语言模型
2024-04-19 08:05 by 萤火架构, 2408 阅读, 5 推荐, 收藏, 编辑
摘要：完整的大语言模型训练成本比较高昂，不是我们业余玩家能搞的，如果我们只是想在某个业务场景或者垂直的方面加强大模型的能力，可以进行微调训练。 阅读全文
阿里开源的32B大模型到底强在哪里？
2024-04-10 08:13 by 萤火架构, 2019 阅读, 1 推荐, 收藏, 编辑
摘要：阿里巴巴最近开源了一个320亿参数的大语言模型Qwen1.5-32B，网上都说很强很强，那么它到底强在哪里呢？ 更高的性价比 Qwen1.5-32B中的B是billion的意思，也就是10亿，32B就代表320亿参数量。 阿里之前还开源过一个大模型Qwen-1.5-72B，72B就代表720亿参数量 阅读全文
什么是正向代理和反向代理？
2024-03-26 07:53 by 萤火架构, 584 阅读, 5 推荐, 收藏, 编辑
摘要：小明去饭馆吃饭，正向代理就像是小明的朋友帮他去点餐，服务员并不知道最终吃饭的人是小明；而反向代理则像是饭馆的服务员，他们决定把小明的订单送到哪个厨师手里去做。 阅读全文
大模型应用开发：手把手教你部署并使用清华智谱GLM大模型
2024-03-20 14:08 by 萤火架构, 1805 阅读, 5 推荐, 收藏, 编辑
摘要：部署一个自己的大模型，没事的时候玩两下，这可能是很多技术同学想做但又迟迟没下手的事情，没下手的原因很可能是成本太高，近万元的RTX3090显卡，想想都肉疼，又或者官方的部署说明过于简单，安装的时候总是遇到各种奇奇怪怪的问题，难以解决。本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式，以及如何通过API调用大模型开发自己的AI应用，希望能解决一些下不去手的问题。 阅读全文