内嵌在Chrome中的谷歌Gemini AI Nano 模型在本地部署使用, 响应速度比Phi3,LAMMA3快的多,擅长用户端任务,比如语法修正,实时翻译,图像识别

Gemini AI Nano 是一个由 Google 开发的大型语言模型(LLM),现已内置于 Chrome 浏览器中。它提供了一些显著的优势,使其成为用户端任务的极佳选择,

Chrome内置的Gemini AI Nano特点:

1. 真的很快。其他类似的 LLM(例如 Phi3 和 LAMMA3)相比,Gemini Nano 的运行速度明显更快。这使其非常适合需要快速响应的实时应用,例如语法检查和翻译。

2. 可以离线本地运行,无需外部API,不担心弱网络;不用担心敏感数据外泄。

3. 本地部署,网页可以可以用Javascript直接调用。Gemini Nano 模型存储在您的设备上,而不是在云端。这为您提供了对数据的更大控制权,并确保即使在互联网连接中断的情况下您也能继续使用该模型。

4. 多种语言支持:支持多达 8 种语言,包括英语、中文、法语、德语、西班牙语、日语、韩语和土耳其语。

在本地运行的是Gemini 3.5B版本

5. 可扩展性: Gemini Nano 旨在可扩展,这意味着它可以随着时间的推移进行改进和更新。这确保您可以继续获得最新的功能和性能改进。

总而言之,Gemini AI Nano 在 Chrome 中提供了一系列令人印象深刻的功能,使其成为各种用户端任务的强大工具。其快速的速度、离线功能、本地部署、多语言支持和可扩展性使其成为寻求功能强大且易于使用的 LLM 的用户的绝佳选择。

以下是一些您可以使用 Gemini AI Nano 的具体示例:

  • 检查语法和拼写错误
  • 实时翻译文本
  • 识别和描述图像
  • 总结文本
  • 创建不同类型的创意文本格式,如诗歌、代码、脚本、音乐作品、电子邮件、信件等
  • 以信息丰富的方式回答您的问题
  • 具备语音转文本STT,文本转语音TTS

随着 Gemini AI Nano 的不断发展和改进,我们可以期待看到它在未来几年中支持的更多创新应用。

为什么不直接用网页版的gemini?
 

如何安装使用Gemini AI Nano:

我自己跑了一下启用的流程坑还是挺多的,写一下具体的步骤和注意点。

1)需要下载 Chrome 浏览器的 Chrome Canary 版本,当前是128版本,下载地址:https://www.google.com/chrome/canary/

2)需要将浏览器语言设置为英文,在设置语言那里面添加英语然后右边三个小点选“设置为浏览器语言”,【仅Windows需要。】

3)打开 chrome://flags 找到 prompt-api-for-gemini-nano 设置为“Enabled”【注意有提示重启浏览器,但不要点,等下一步完成再重启】

4)然后找到 optimization-guide-on-device-model 设置为“Enabled BypassPerfRequirement”,重启浏览器

5)进到 chrome://components/ 找到 Optimization Guide On Device Model ,如果版本显示是0.0.0.0,就后点击“Check for update”。然后就会开始下载模型,模型大约2GB,下载所需时间跟你的网络有关系,我等了几分钟。

注意:如果没有这个选项的话把flags那两个开启的选项禁用之后再重启,然后在开启一次再试试。

6)自己的网页调用:

然后可以在控制台用这个两个命令测试是否启用,

const model = await window.ai.createTextSession();

await model.prompt("today's date");

这两句需要分别回车。

7)直接打开下面地址就可以体验了:https://chrome-ai-demo.vercel.app/

或者安装插件:https://chromewebstore.google.com/detail/chrome-ai-chrome-built-in/emlpbjnkjcbepocijpjggfmmloipamia

 

提醒

a) 主要问题2:Optimization Guide On Device Model不出现

1. Chrome Canary语言仅保留英语,其他都删除后重启浏览器。

2. 安装Chrome Canary的磁盘至少有22G空闲空间。此项必须满足。

3. GPU有4G以上显存。Intel 5500不支持。

4. 因为过程冲要从Google下载Components,所以网络必须通,你懂的。

5. 过程中折腾了好多遍,使用了各种方法后才成功的。这些方法包括:重启计算机,重启Chrome,删除Chrome的UserData,开着Chrome Canary等待其更新Components,反复修改3,4步设置。

b)  主要问题1:能用了,但过一段时间又不能用了。

出现了一次能用一段时间又不能用的情况,未做修改,隔天升级版本后又好了。

本文连接:

https://www.cnblogs.com/jopny/p/18268372/How_to_install_config_use_Gemini_AI_Nano_in_Chrome

posted @ 2024-06-30 13:46  jopny  阅读(4663)  评论(0编辑  收藏  举报