C#本地使用deepseek、phi3等语言模型!!

【废话少说,直接上重点!!】不用自己训练模型代码【如果需要本地定制化某些功能,需要自己训练,下篇帮助有限】

原理:使用olloma运行本地模型,然后通过代码调用本地模型, 。

下载ollama: https://ollama.com/download

下载完后傻瓜式安装,省略......

安装完毕后,打开命令行工具输入【由于电脑配置我选择的是7b模型,有需求可以自行更换】:

ollama run deepseek-r1:7b

如果本地没有deepseek-r1模型依赖则会自动下载,下载完毕则ollama会启用deepseek

如图:

本地运行成功,接下来就是将其通过C#调用:

找一处适合的文件夹创建控制台程序或者使用脚手架:

dotnet new console -o MyConsoleApp

运行:

dotnet run

安装nuget包: “dotnet add package Microsoft.Extensions.AI.Ollama --version 9.1.0-preview.1.25064.3

复制一下代码【拿去自用】:


using Microsoft.Extensions.AI;

IChatClient chatClient =
    new OllamaChatClient(new Uri("http://localhost:11434/"), "deepseek-r1:7b");

// Start the conversation with context for the AI model
List<ChatMessage> chatHistory = new();

while (true)
{
    // Get user prompt and add to chat history
    Console.WriteLine("Your prompt:");
    var userPrompt = Console.ReadLine();
    chatHistory.Add(new ChatMessage(ChatRole.User, userPrompt));

    // Stream the AI response and add to chat history
    Console.WriteLine("AI Response:");
    var response = "";
    await foreach (var item in
        chatClient.CompleteStreamingAsync(chatHistory))
    {
        Console.Write(item.Text);
        response += item.Text;
    }
    chatHistory.Add(new ChatMessage(ChatRole.Assistant, response));
    Console.WriteLine();
}

运行即可成功使用C#本地调用语言模型deepseek-r1【7b】如果更改其他模型,自行下载模型,使用ollama运行,再更改

IChatClient chatClient =new OllamaChatClient(new Uri("http://localhost:11434/"), "your_Model");

即可大功告成!!

效果:

posted @   hadxs  阅读(71)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· 单线程的Redis速度为什么快?
点击右上角即可分享
微信分享提示