【Jan】部署本地AI大模型
前言
Jan 是一款开源的的本地 AI 部署软件，利用开源 AI 模型和自己的硬件（CPU、显卡），让我们可以在本地运行大语言模型，实现 100% 完全离线、免费的 ChatGPT。目前支持 Windows、macOS、Linux三个平台安装运行各大开源的AI大模型。
项目地址：janhq/jan：Jan 是 ChatGPT 的开源替代品
Jan 可在任何硬件上运行，算力越大，速度越快。
软件下载
前提条件
以 Windows 系统部署为例进行演示，其他平台设备部署安装参考项目主页的说明。
- Windows 10 或更高版本
- 要启用 GPU 支持：
- 带有 CUDA 工具包 11.7 或更高版本的 Nvidia GPU
- Nvidia 驱动程序 470.63.01 或更高版本
检查 NVIDIA 驱动和CUDA
首先检查是否安装NVIDIA 驱动，打开 PowerShell 或 cmd 终端并输入以下命令：
nvidia-smi
如果看到类似以下结果，则说明您已成功安装 NVIDIA 驱动程序：
其次检查是否安装CUDA 工具包，打开 PowerShell 或 cmd 终端并输入以下命令：
nvcc --version
如果看到类似以下结果，则说明您已成功安装 CUDA：
若没有安装CUDA ，可以直接【点击下载】进行安装即可。
一般情况会自动加入环境变量，否则可以手动将 CUDA 的 bin 目录添加到 PATH 环境变量中。
CUDA 工具包默认路径: C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA。
如果上述条件都满足了，就可以进行下面的下载。
在【官网下载】下载最新版本的 Jan，或访问 【GitHub 版本】以下载任何以前的版本。
软件使用
Jan 的使用界面很简单，选择并下载模型后，就可以直接对话了。
除了从Jan 提供的 Hub 选择模型，也支持手动导入模型、使用在线模型。
Tip：若是模型下载失败，如下图打开设置找到Advanced Settings中的HTTPS Proxy选项，添加自己的代理服务器地址和端口即可正常下载。
