【Jan】部署本地AI大模型

前言

Jan 是一款开源的的本地 AI 部署软件，利用开源 AI 模型和自己的硬件（CPU、显卡），让我们可以在本地运行大语言模型，实现 100% 完全离线、免费的 ChatGPT。目前支持 Windows、macOS、Linux三个平台安装运行各大开源的AI大模型。

项目地址：janhq/jan：Jan 是 ChatGPT 的开源替代品

Jan 可在任何硬件上运行，算力越大，速度越快。

软件下载

前提条件

以 Windows 系统部署为例进行演示，其他平台设备部署安装参考项目主页的说明。

• Windows 10 或更高版本
• 要启用 GPU 支持：
  • 带有 CUDA 工具包 11.7 或更高版本的 Nvidia GPU
  • Nvidia 驱动程序 470.63.01 或更高版本

检查 NVIDIA 驱动和CUDA

首先检查是否安装NVIDIA 驱动，打开 PowerShell 或 cmd 终端并输入以下命令：

nvidia-smi

如果看到类似以下结果，则说明您已成功安装 NVIDIA 驱动程序：

其次检查是否安装CUDA 工具包，打开 PowerShell 或 cmd 终端并输入以下命令：

nvcc --version

如果看到类似以下结果，则说明您已成功安装 CUDA：

若没有安装CUDA ，可以直接【点击下载】进行安装即可。

一般情况会自动加入环境变量，否则可以手动将 CUDA 的 bin 目录添加到 PATH 环境变量中。

CUDA 工具包默认路径: C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA。

如果上述条件都满足了，就可以进行下面的下载。

在【官网下载】下载最新版本的 Jan，或访问 【GitHub 版本】以下载任何以前的版本。

软件使用

Jan 的使用界面很简单，选择并下载模型后，就可以直接对话了。

除了从Jan 提供的 Hub 选择模型，也支持手动导入模型、使用在线模型。

Tip：若是模型下载失败，如下图打开设置找到Advanced Settings中的HTTPS Proxy选项，添加自己的代理服务器地址和端口即可正常下载。