摘要：
Understanding Query, Key, Value in Transformers and LLMs This self-attention process is at the core of what makes transformers so powerful. They allow 阅读全文
摘要：
An intuitive introduction to text embeddings （收集于 2024-03-02） How does the (decoder-only) transformer architecture work? （收集于 2024-03-03） Large langua 阅读全文
摘要：
学习材料：Quick intro to Kernel Memory: install, upload a doc, ask a question 创建控制台项目 dotnet new console dotnet add package Microsoft.KernelMemory.Core 创建 阅读全文
摘要：
Semantic Kernel 的 Memory 有两种实现，一个是 Semantic Kernel 内置的 Semantic Memory，一个是独立的 Kernel Memory，Kernel Memory 是从 Semantic Kernel 进化而来。 关于 Semantic Memory 阅读全文
摘要：
在一个 Semantic Kernel plugin 中可以创建两种类型的 function，分别是 native function 与 prompt function（之前叫 semantic function）。 下面这款 plugin 中给 C# method 添加了 [KernelFunct 阅读全文
摘要：
学习材料 Microsoft Semantic Kernel – Some Tips & Tricks To Get Rendered Prompts Templatizing your prompts Semantic Kernel 源码中的示例 Example76_Filters 准备 .NET 阅读全文
摘要：
前天尝试通过 one-api + dashscope(阿里云灵积) + qwen(通义千问)运行 Semantic Kernel 插件（Plugin） ，结果尝试失败，详见前天的博文。 今天换一种方式尝试，选择了一个旁门左道走走看，看能不能在不使用大模型的情况下让 Semantic Kernel 插 阅读全文
摘要：
原本打算通过 OpenAIChatCompletionService + one-api + DashScope + qwen-max（通义千问千亿级大模型）运行一个非常简单的 Semantic Kernel plugin，却没有成功，不确定是 one-api 还是 DashScope（阿里云模型服 阅读全文
摘要：
one-api 相当于是一个兼容 OpenAI api 的 api 网关（针对 api 的反向代理），借助 one-api 可以通过已有的 OpenAI 客户端调用非 OpenAI 大模型的 api，比如通义千问。 DashScope 是阿里云提供的模型服务灵积的英文名称，这里通过调用 DashSc 阅读全文
摘要：
Semantic Kernel 内置的 IChatCompletionService 实现只支持 OpenAI 与 Azure OpenAI，而我却打算结合 DashScope(阿里云模型服务灵积) 学习 Semantic Kernel。 于是决定自己动手实现一个支持 DashScope 的 Sem 阅读全文
摘要：
在昨天的博文中，我们通过 Semantic Kernel 调用了自己部署的通义千问开源大模型，但是自己部署通义千问对服务器的配置要求很高，即使使用抢占式按量实例，每次使用时启动服务器，使用完关闭服务器，也比较麻烦，而且越高级的大模型对服务器的配置越高。所以昨天的博文中使用了很低级的 Qwen-7B- 阅读全文
摘要：
春节之前被 Semantic Kernel 所吸引，开始了解它，学习它。为了方便学习与体验以及写代码实践 Semantic Kernel，打算自己部署一个对中文友好的开源大模型，于是选择了通义千问。根据通义千问开源仓库中的 README，经过一番折腾，终于部署成功，紧接着就是尝试通过 Semantic Kernel 与自己部署的通义千问进行对话 阅读全文
摘要：
准备服务器 阿里云云服务器 实例规格：轻量级 GPU 实例 ecs.vgn6i-m4-vws.xlarge（4vCPU 23GiB） 磁盘空间 ：50G 操作系统：Ubuntu 22.04 安装 docker apt install docker.io 安装 NVIDIA GRID 驱动 acs-p 阅读全文
摘要：
实例规格：轻量级 GPU 实例 vgn6i-vws / ecs.vgn6i-m4-vws.xlarge（4vCPU 23GiB） 操作系统：Ubuntu 22.04 第一部分：尝试失败的安装方法 查询 NVIDIA 产品型号 lspci | grep -i nvidia 输出 00:07.0 VGA 阅读全文
摘要：
第1步，准备一台阿里云4核8G的服务器，操作系统用的是 ubuntu 22.04；第2步，签出 llama.cpp 源码进行 build；第3步，下载 4-bit 版本的 Vicuna-7B 模型，文件大小是3.6G；第4步，使用这个模型输入提示词 `Tell me about cnblogs`；第5步，下载 8-bit 版本的 Vicuna-7B 模型，文件大小是6.7G 阅读全文
摘要：
月9日晚上的一次发布中遇到一个非常奇怪的问题，发布前在 staging 环境测试正常，发布到生产环境后发现所有 ViewComponent 都输出为空（没有任何内容）。生产环境与 staging 环境的不同之处是生产环境生成容器镜像时预编译了 razor 视图文件。 阅读全文
摘要：
我们有一个部署在 k8s 上的应用被一个健康检查问题困扰多年，每次发布时由于健康检查(readiness probe)失败，pod 要被重启很多次，快的话要等半小时到1小时 pod 才能启动成功，慢的话要等几小时甚至十几个小时，最近一次最夸张，pod 重启了2天才启动成功，重启了300多次。 阅读全文
摘要：
次升级是从 `15.8.3` 升级至 `15.9.1` ，升级过程中卡在 `gitlab::database_migrations` 很长时间，在卡住的过程中，centos 系统中一直有个 `bundle` 进程在运行。等了一段时间后看不到进展，于是 control + c 强制结束安装并通过下面的命令尝试降级回 `15.8.3` 阅读全文
摘要：
今天在一个 ASP.NET Core 7.0 的项目中遇到反射时 "Could not load file or assembly" 的问题，build 时没问题，运行时出现异常"Unable to load one or more of the requested types."，找不到的程序集是 `Cnblogs.UCenter.DTO` 程序集所依赖的 阅读全文
摘要：
今天在写单元测试代码中依赖注入部分时在网上找了找，看有没有对应的开源好库，结果发现了 Xunit.Microsoft.DependencyInjection，现学现用体验了一下，感觉味道不错，在这篇博文中简单记录一下。添加继承自 `TestBedFixture` 的自定义 fixture `BlogClientFixture`，向依赖注入容器注册服务的方法在 `AddServices` 重载方法中添加。 阅读全文