摘要：
随着开源LLM越来越成熟，业务接入LLM推理也成为必然，如何选模型大小和显卡，主要看下面这些。 一、选GPU显卡 在选择显卡进行大型语言模型推理时，主要要看下面几个指标： 1、 VRAM（视频随机存取存储器）： VRAM 的容量直接影响您能够加载的模型的大小。大型语言模型需要大量的内存来存储权重和进 阅读全文
posted @ 2024-04-29 20:04 蝈蝈俊 阅读(1380) 评论(0) 推荐(0) 编辑
摘要：
清华大学和智谱AI团队研究发现: 大模型的涌现能力与预训练loss的关系比模型参数更紧密。 https://arxiv.org/pdf/2403.15796 这篇论文《从损失角度理解语言模型的涌现能力》通过将预训练损失作为评估指标，强调了在理解和评价语言模型的涌现能力时，损失的重要性可能超过了模型参 阅读全文
posted @ 2024-04-28 10:16 蝈蝈俊 阅读(198) 评论(0) 推荐(0) 编辑
摘要：
dmesg（display message）是Linux和Unix系统中的一个命令行工具，用于显示内核与系统硬件交互的消息。运行此命令可能会显示一些关于系统错误或崩溃的信息： 我使用了下面命令， dmesg -T | tail 参数说明： -T：显示人类可读的时间戳，而不是默认的自系统启动以来的秒数 阅读全文
posted @ 2024-04-28 08:45 蝈蝈俊 阅读(188) 评论(0) 推荐(0) 编辑
摘要：
Appium 是一个开源工具，用于自动化 iOS、Android 和 Windows 应用程序的测试。 Appium 作为一个服务器启动，它接收到客户端（如脚本或测试代码）发出的命令，然后将这些命令转换成适当的动作在移动设备上执行。Appium的工作原理是通过使用WebDriver协议来与设备交互。 阅读全文
posted @ 2024-04-25 14:50 蝈蝈俊 阅读(63) 评论(0) 推荐(0) 编辑
摘要：
LLaVA（Large Language and Vision Assistant 大型语言和视觉助手 https://llava-vl.github.io/）是个多模态人工智能模型，它能同时理解和生成文本和图像内容。简单来说，这个模型就像一个可以看懂图片并且能用语言与人交流的智能助手。 LLaVA 阅读全文
posted @ 2024-04-24 15:30 蝈蝈俊 阅读(529) 评论(0) 推荐(0) 编辑
摘要：
默认情况下，ollama模型的存储目录如下： macOS: ~/.ollama/models Linux: /usr/share/ollama/.ollama/models Windows: C:\Users\<username>\.ollama\models 如果需要使用不同的目录，则需设置环境变 阅读全文
posted @ 2024-04-20 19:43 蝈蝈俊 阅读(15088) 评论(0) 推荐(2) 编辑
摘要：
矩阵乘法是一个常见的计算密集型任务，特别适合于 GPU（图形处理单元）并行计算。 GPU 通过执行成千上万的小型、简单的操作（如浮点运算），可以显著加速矩阵乘法等并行任务。 矩阵乘法在GPU的执行步骤 下面是矩阵乘法在 GPU 上并行优化的一个概述，以及一个简单示例的执行步骤。 1、分割任务 GPU 阅读全文
posted @ 2024-04-04 17:56 蝈蝈俊 阅读(257) 评论(0) 推荐(0) 编辑
摘要：
在Twitter上看到一段给代码生成单元测试的Prompt： https://twitter.com/mattshumer_/status/1773385952699789808 虽然它是针对 Claude 3的，但理论上来说可以适用于绝大部分模型。 Prompt 如下： <prompt_expla 阅读全文
posted @ 2024-03-30 14:14 蝈蝈俊 阅读(446) 评论(0) 推荐(0) 编辑
摘要：
用 PyInstaller 打包python程序时，收到下面错误： User 140343 INFO: Building PKG because PKG-00.toc is non existent 140344 INFO: Building PKG (CArchive) mainwindow.pk 阅读全文
posted @ 2024-03-15 08:43 蝈蝈俊 阅读(139) 评论(0) 推荐(0) 编辑