在安卓手机上用 ollama 运行开源大模型

License: CC BY-NC-SA 4.0

前言

一种不刷机，不用 root 的解决方案。

如果有条件可以 root 后装 Linux Deploy 或者干脆刷成 linux.

正文

先要装上 termux.

加速 proot-distro 下载

以 Arch Linux 为例。

vi /data/data/com.termux/files/usr/etc/proot-distro/archlinux.sh

把里面的 github.com 替换为相应的镜像源。

然后 proot-distro install archlinux。

安装 ollama

直接运行官方的下载脚本是很慢的，可以到 github releases 上直接下载。

将 ollama 放进 $PATH 对应的目录里，就可以用了。

注意由于 systemd 用不了，要在一个窗口里手动开 ollama serve。

运行

可以直接导入模型。

从 huggingface 上下载 *.gguf 的模型（可以用 gguf-my-repo 在线转换），放入某个文件夹，然后写一个 Modelfile 就可以导入并运行了。

如果你想找没有思想钢印的大模型，在 huggingface 上搜 uncensored 或 nsfw 即可。

推荐几个我觉得好用的大模型，均支持中文且没有思想钢印：

• 8B 左右：CausalLM-7B
• 4B 左右：Qwen2-1.5B-Instruct-Abliterated