内嵌在Chrome中的谷歌Gemini AI Nano 模型在本地部署使用, 响应速度比Phi3,LAMMA3快的多,擅长用户端任务,比如语法修正,实时翻译,图像识别
Gemini AI Nano 是一个由 Google 开发的大型语言模型(LLM),现已内置于 Chrome 浏览器中。它提供了一些显著的优势,使其成为用户端任务的极佳选择,
Chrome内置的Gemini AI Nano特点:
1. 真的很快。其他类似的 LLM(例如 Phi3 和 LAMMA3)相比,Gemini Nano 的运行速度明显更快。这使其非常适合需要快速响应的实时应用,例如语法检查和翻译。
2. 可以离线本地运行,无需外部API,不担心弱网络;不用担心敏感数据外泄。
3. 本地部署,网页可以可以用Javascript直接调用。Gemini Nano 模型存储在您的设备上,而不是在云端。这为您提供了对数据的更大控制权,并确保即使在互联网连接中断的情况下您也能继续使用该模型。
4. 多种语言支持:支持多达 8 种语言,包括英语、中文、法语、德语、西班牙语、日语、韩语和土耳其语。
在本地运行的是Gemini 3.5B版本
5. 可扩展性: Gemini Nano 旨在可扩展,这意味着它可以随着时间的推移进行改进和更新。这确保您可以继续获得最新的功能和性能改进。
总而言之,Gemini AI Nano 在 Chrome 中提供了一系列令人印象深刻的功能,使其成为各种用户端任务的强大工具。其快速的速度、离线功能、本地部署、多语言支持和可扩展性使其成为寻求功能强大且易于使用的 LLM 的用户的绝佳选择。
以下是一些您可以使用 Gemini AI Nano 的具体示例:
- 检查语法和拼写错误
- 实时翻译文本
- 识别和描述图像
- 总结文本
- 创建不同类型的创意文本格式,如诗歌、代码、脚本、音乐作品、电子邮件、信件等
- 以信息丰富的方式回答您的问题
- 具备语音转文本STT,文本转语音TTS
随着 Gemini AI Nano 的不断发展和改进,我们可以期待看到它在未来几年中支持的更多创新应用。
如何安装使用Gemini AI Nano:
我自己跑了一下启用的流程坑还是挺多的,写一下具体的步骤和注意点。
1)需要下载 Chrome 浏览器的 Chrome Canary 版本,当前是128版本,下载地址:https://www.google.com/chrome/canary/
2)需要将浏览器语言设置为英文,在设置语言那里面添加英语然后右边三个小点选“设置为浏览器语言”,【仅Windows需要。】
3)打开 chrome://flags 找到 prompt-api-for-gemini-nano 设置为“Enabled”【注意有提示重启浏览器,但不要点,等下一步完成再重启】
4)然后找到 optimization-guide-on-device-model 设置为“Enabled BypassPerfRequirement”,重启浏览器。
5)进到 chrome://components/ 找到 Optimization Guide On Device Model ,如果版本显示是0.0.0.0,就后点击“Check for update”。然后就会开始下载模型,模型大约2GB,下载所需时间跟你的网络有关系,我等了几分钟。
注意:如果没有这个选项的话把flags那两个开启的选项禁用之后再重启,然后在开启一次再试试。
6)自己的网页调用:
然后可以在控制台用这个两个命令测试是否启用,
const model = await window.ai.createTextSession();
await model.prompt("today's date");
这两句需要分别回车。
7)直接打开下面地址就可以体验了:https://chrome-ai-demo.vercel.app/
或者安装插件:https://chromewebstore.google.com/detail/chrome-ai-chrome-built-in/emlpbjnkjcbepocijpjggfmmloipamia
提醒
a) 主要问题2:Optimization Guide On Device Model不出现
1. Chrome Canary语言仅保留英语,其他都删除后重启浏览器。
2. 安装Chrome Canary的磁盘至少有22G空闲空间。此项必须满足。
3. GPU有4G以上显存。Intel 5500不支持。
4. 因为过程冲要从Google下载Components,所以网络必须通,你懂的。
5. 过程中折腾了好多遍,使用了各种方法后才成功的。这些方法包括:重启计算机,重启Chrome,删除Chrome的UserData,开着Chrome Canary等待其更新Components,反复修改3,4步设置。
b) 主要问题1:能用了,但过一段时间又不能用了。
出现了一次能用一段时间又不能用的情况,未做修改,隔天升级版本后又好了。
本文连接:
https://www.cnblogs.com/jopny/p/18268372/How_to_install_config_use_Gemini_AI_Nano_in_Chrome