dudu - 博客园

2024年3月

摘要： An intuitive introduction to text embeddings （收集于 2024-03-02） How does the (decoder-only) transformer architecture work? （收集于 2024-03-03） Large langua 阅读全文

posted @ 2024-03-03 18:10 dudu 阅读(195) 评论(0) 推荐(2) 编辑

通过 Kernel Memory 初步体验 Retrieval Augmented Generation

摘要：学习材料：Quick intro to Kernel Memory: install, upload a doc, ask a question 创建控制台项目 dotnet new console dotnet add package Microsoft.KernelMemory.Core 创建阅读全文

posted @ 2024-03-03 10:22 dudu 阅读(166) 评论(6) 推荐(0) 编辑

2024年2月

Semantic Kernel 学习笔记：初步体验用 Semantic Memory 生成 Embedding 并进行语义搜索

摘要： Semantic Kernel 的 Memory 有两种实现，一个是 Semantic Kernel 内置的 Semantic Memory，一个是独立的 Kernel Memory，Kernel Memory 是从 Semantic Kernel 进化而来。关于 Semantic Memory 阅读全文

posted @ 2024-02-27 16:47 dudu 阅读(300) 评论(0) 推荐(1) 编辑

Semantic Kernel 学习笔记：体验基于 prompt function 实现的 Plugin

摘要：在一个 Semantic Kernel plugin 中可以创建两种类型的 function，分别是 native function 与 prompt function（之前叫 semantic function）。下面这款 plugin 中给 C# method 添加了 [KernelFunct 阅读全文

posted @ 2024-02-24 12:59 dudu 阅读(158) 评论(0) 推荐(0) 编辑

Semantic Kernel 学习笔记：Prompt Filter 与 Handlebars Prompt Template

摘要：学习材料 Microsoft Semantic Kernel – Some Tips & Tricks To Get Rendered Prompts Templatizing your prompts Semantic Kernel 源码中的示例 Example76_Filters 准备 .NET 阅读全文

posted @ 2024-02-20 19:40 dudu 阅读(172) 评论(0) 推荐(0) 编辑

旁门左道：借助 HttpClientHandler 拦截请求，体验 Semantic Kernel 插件

摘要：前天尝试通过 one-api + dashscope(阿里云灵积) + qwen(通义千问)运行 Semantic Kernel 插件（Plugin），结果尝试失败，详见前天的博文。今天换一种方式尝试，选择了一个旁门左道走走看，看能不能在不使用大模型的情况下让 Semantic Kernel 插阅读全文

posted @ 2024-02-19 17:25 dudu 阅读(670) 评论(0) 推荐(3) 编辑

一次失败的尝试：one-api + dashscope + qwen-max 运行 Semantic Kernel 插件

摘要：原本打算通过 OpenAIChatCompletionService + one-api + DashScope + qwen-max（通义千问千亿级大模型）运行一个非常简单的 Semantic Kernel plugin，却没有成功，不确定是 one-api 还是 DashScope（阿里云模型服阅读全文

posted @ 2024-02-17 19:33 dudu 阅读(694) 评论(0) 推荐(0) 编辑

Semantic Kernel + 通义千问：借助 one-api 调用阿里云灵积 DashScope api

摘要： one-api 相当于是一个兼容 OpenAI api 的 api 网关（针对 api 的反向代理），借助 one-api 可以通过已有的 OpenAI 客户端调用非 OpenAI 大模型的 api，比如通义千问。 DashScope 是阿里云提供的模型服务灵积的英文名称，这里通过调用 DashSc 阅读全文

posted @ 2024-02-16 12:07 dudu 阅读(1993) 评论(0) 推荐(2) 编辑

实现阿里云模型服务灵积 DashScope 的 Semantic Kernel Connector

摘要： Semantic Kernel 内置的 IChatCompletionService 实现只支持 OpenAI 与 Azure OpenAI，而我却打算结合 DashScope(阿里云模型服务灵积) 学习 Semantic Kernel。于是决定自己动手实现一个支持 DashScope 的 Sem 阅读全文

posted @ 2024-02-13 15:52 dudu 阅读(537) 评论(1) 推荐(4) 编辑

借助 .NET 开源库 Sdcb.DashScope 调用阿里云灵积通义千问 API

摘要：在昨天的博文中，我们通过 Semantic Kernel 调用了自己部署的通义千问开源大模型，但是自己部署通义千问对服务器的配置要求很高，即使使用抢占式按量实例，每次使用时启动服务器，使用完关闭服务器，也比较麻烦，而且越高级的大模型对服务器的配置越高。所以昨天的博文中使用了很低级的 Qwen-7B- 阅读全文

posted @ 2024-02-11 14:55 dudu 阅读(1363) 评论(3) 推荐(8) 编辑

初步体验通过 Semantic Kernel 与自己部署的通义千问开源大模型进行对话

摘要：春节之前被 Semantic Kernel 所吸引，开始了解它，学习它。为了方便学习与体验以及写代码实践 Semantic Kernel，打算自己部署一个对中文友好的开源大模型，于是选择了通义千问。根据通义千问开源仓库中的 README，经过一番折腾，终于部署成功，紧接着就是尝试通过 Semantic Kernel 与自己部署的通义千问进行对话阅读全文

posted @ 2024-02-10 13:28 dudu 阅读(1134) 评论(0) 推荐(6) 编辑

以容器方式部署通义千问 Qwen

摘要：准备服务器阿里云云服务器实例规格：轻量级 GPU 实例 ecs.vgn6i-m4-vws.xlarge（4vCPU 23GiB）磁盘空间：50G 操作系统：Ubuntu 22.04 安装 docker apt install docker.io 安装 NVIDIA GRID 驱动 acs-p 阅读全文

posted @ 2024-02-09 17:57 dudu 阅读(1819) 评论(1) 推荐(0) 编辑

阿里云轻量级 GPU 实例安装 NVIDIA 驱动

摘要：实例规格：轻量级 GPU 实例 vgn6i-vws / ecs.vgn6i-m4-vws.xlarge（4vCPU 23GiB）操作系统：Ubuntu 22.04 第一部分：尝试失败的安装方法查询 NVIDIA 产品型号 lspci | grep -i nvidia 输出 00:07.0 VGA 阅读全文

posted @ 2024-02-06 19:19 dudu 阅读(566) 评论(0) 推荐(0) 编辑

2023年7月

初步体验 llama.cpp

摘要：第1步，准备一台阿里云4核8G的服务器，操作系统用的是 ubuntu 22.04；第2步，签出 llama.cpp 源码进行 build；第3步，下载 4-bit 版本的 Vicuna-7B 模型，文件大小是3.6G；第4步，使用这个模型输入提示词 `Tell me about cnblogs`；第5步，下载 8-bit 版本的 Vicuna-7B 模型，文件大小是6.7G 阅读全文

posted @ 2023-07-30 22:54 dudu 阅读(1076) 评论(3) 推荐(0) 编辑

2023年3月

遭遇奇怪的问题：所有 ASP.NET Core ViewComponent 都输出为空

摘要：月9日晚上的一次发布中遇到一个非常奇怪的问题，发布前在 staging 环境测试正常，发布到生产环境后发现所有 ViewComponent 都输出为空（没有任何内容）。生产环境与 staging 环境的不同之处是生产环境生成容器镜像时预编译了 razor 视图文件。阅读全文

posted @ 2023-03-11 15:59 dudu 阅读(343) 评论(0) 推荐(2) 编辑

2023年2月

困扰多年的 Kubernetes 健康检查问题终于解决了

摘要：我们有一个部署在 k8s 上的应用被一个健康检查问题困扰多年，每次发布时由于健康检查(readiness probe)失败，pod 要被重启很多次，快的话要等半小时到1小时 pod 才能启动成功，慢的话要等几小时甚至十几个小时，最近一次最夸张，pod 重启了2天才启动成功，重启了300多次。阅读全文

posted @ 2023-02-28 08:34 dudu 阅读(2659) 评论(2) 推荐(4) 编辑

一次 gitlab 升级失败的处理过程记录

摘要：次升级是从 `15.8.3` 升级至 `15.9.1` ，升级过程中卡在 `gitlab::database_migrations` 很长时间，在卡住的过程中，centos 系统中一直有个 `bundle` 进程在运行。等了一段时间后看不到进展，于是 control + c 强制结束安装并通过下面的命令尝试降级回 `15.8.3` 阅读全文

posted @ 2023-02-25 16:37 dudu 阅读(1587) 评论(0) 推荐(0) 编辑

遇到反射时找不到依赖程序集的问题

摘要：今天在一个 ASP.NET Core 7.0 的项目中遇到反射时 "Could not load file or assembly" 的问题，build 时没问题，运行时出现异常"Unable to load one or more of the requested types."，找不到的程序集是 `Cnblogs.UCenter.DTO` 程序集所依赖的阅读全文

posted @ 2023-02-03 15:06 dudu 阅读(1061) 评论(0) 推荐(0) 编辑

2023年1月

借力 Xunit.Microsoft.DependencyInjection 开源库，单元测试依赖注入更轻松

摘要：今天在写单元测试代码中依赖注入部分时在网上找了找，看有没有对应的开源好库，结果发现了 Xunit.Microsoft.DependencyInjection，现学现用体验了一下，感觉味道不错，在这篇博文中简单记录一下。添加继承自 `TestBedFixture` 的自定义 fixture `BlogClientFixture`，向依赖注入容器注册服务的方法在 `AddServices` 重载方法中添加。阅读全文

posted @ 2023-01-31 17:06 dudu 阅读(175) 评论(0) 推荐(1) 编辑

将错就错：DNS 错乱解析造成错误请求，借助 YARP 转发给正确的应用

摘要：最近园子在部署 IPv6 时遇到了一个非常奇怪的 dns 解析问题，当给非 www 二级域名（比如 q.cnblogs.com）添加 AAAA(IPv6) 记录后，部分用户访问 q.cnblogs.com 时会被错误地解析为 www.cnblogs.com 对应的 IPv4 地址，去掉 AAAA 解析就恢复正常。为了对付这个不可控的奇怪问题，我们采用了一个将错就错的变通方法阅读全文

posted @ 2023-01-19 19:35 dudu 阅读(324) 评论(0) 推荐(1) 编辑

公告