鸿蒙(HarmonyOS)原生AI能力之文本识别
鸿蒙(HarmonyOS)原生AI能力之文本识别
原生智能介绍
-
在之前开发中,很多场景我们是通过调用云端的智能能力进行开发。例如文本识别、人脸识别等。
-
原生即指将一些能力直接集成在本地鸿蒙系统中,通过不同层次的AI能力开放,满足开发者的不同场景下的诉求,降低应用开发门槛,帮助开发者快速实现应用智能化
有哪些原生智能能力
- 基础视觉服务
- 基础语音服务
- 端侧模型部署
- 端侧推理
- 意图框架
- .........
基础视觉服务 - Core Vision Kit
- Core Vision Kit(基础视觉服务)是机器视觉相关的基础能力,接下来要导入的类,都在
@kit.VisionKit
中例如本篇要讲的文字识别即是如此。
文本识别介绍与使用
-
概念:将图片中的文字给识别出来
-
使用
textRecognition
实现文本识别 -
限制:
- 仅能识别5种语言类型
- 简体中文、繁体中文、英文、日文、韩文
- 仅能识别5种语言类型
-
使用步骤
-
导入textRecognition
import { textRecognition } from '@kit.CoreVisionKit'
-
实例化
visionInfo
对象,用来准备待识别的图片(需PixelMap类型)let visionInfo: textRecognition.VisionInfo = { pixelMap: '待识别图片' };
-
实例化
TextRecognitionConfiguration
对象,设置识别配置(目前仅有是否开启朝向检测一项配置)let textConfiguration: textRecognition.TextRecognitionConfiguration = { // 是否开启朝向检测 isDirectionDetectionSupported: false };
-
调用textRecognition的
recognizeText
接口传入以上两个对象,开启识别并对识别结果进行处理,得到的是TextRecognitionResult
类型结果,这个对象的value
属性即为识别结果textRecognition.recognizeText(visionInfo, textConfiguration)
-
-
这里解释一下这几步
-
你需要用textRecognition,所以需要先找到它,也即导入,这没什么好说的
-
你需要用它来帮你识别图片,那你是不是应该把需要识别的图片给它?所以第一个参数就是给他传递一个图片,只不过这个图片只能传PixelMap类型的(这就是为什么上篇我要写PixMap的原因),但是这个图片不能直接传,要包装成VisionInfo类型的对象(虽然目前为止,这个对象只有这一个属性,但保不齐未来会加)
然后就是设置一下它识别的相关参数,它目前也只有一个参数,叫
isDirectionDetectionSupported
,设置是否开启朝向检测,因为有的图片可能是正的,有的图片可能是反的斜的。所以对于反的斜的图片如果这项开启为true,则会检测的更为准确。但是经过猫林老师肉测,其实开不开启扫描反的斜的图片,得到的结果都差不多了。所以可以看自己选择。顺便一提,这个参数可以不传,不传默认是true。然后猫林老师觉得:未来随着API发展,可能会多一些参数也说不准 -
最后即为调用其进行识别的方法,也即recognizeText开始识别
-
根据上面所说的,其实上面说的四步,也可以极简改为两步,代码如下
import { textRecognition } from '@kit.CoreVisionKit' textRecognition.recognizeText({ pixelMap: '待识别图片' })
- 解释:这里就相当于没传第二个参数,它默认值即为true,也即开启朝向检测。
-
至于如何读取相册图片,以及把图片解码变成PixelMap,不是今天分享的主题,且之前猫林老师有两篇文章分别讲过不会的可以看之前文章,所以这里直接给代码(可看注释)
// 1. 使用PhotoViewPicker选择相册图片 let photoPicker = new photoAccessHelper.PhotoViewPicker(); // 2. 使用select方法开始选择图片 photoPicker.select({ // 设置只选择图片 MIMEType: photoAccessHelper.PhotoViewMIMETypes.IMAGE_TYPE, // 设置最大只能选择1张 maxSelectNumber: 1 }) .then((res: photoAccessHelper.PhotoSelectResult) => { // res参数里的photoUris属性即为选择的图片结果数组(因为可以选择多张),每个元素得到的是临时路径 // 用fs打开这个路径 let fileSource = fileIo.openSync(res.photoUris[0], fileIo.OpenMode.READ_ONLY); // 使用createImageSource方法将图片文件流常见成图片源码 let imageSource = image.createImageSource(fileSource.fd); // 再使用createPixelMap方法,将图片源码制作成PixelMap类型 const pixelMap = imageSource.createPixelMapSync() // 后续使用textRecognition的recognizeText那一套代码进行识别即可 })
-
文本识别展示案例
-
我们来实现如下图的效果
- 界面上从上往下放:
- Image:显示选择的待识别图片
- Button:选择相册里的图片
- Button:开始识别按钮
- TextArea:显示识别后的结果,使用TextArea的原因是它对比Text会多一个滚动效果(防止内容过多显示不全)
- 界面上从上往下放:
-
结合上面说的使用方法,最终文本识别代码如下
import { photoAccessHelper } from '@kit.MediaLibraryKit' import { fileIo } from '@kit.CoreFileKit' import { image } from '@kit.ImageKit' import { textRecognition } from '@kit.CoreVisionKit' @Entry @Component struct Index { @State text: string = '识别结果' @State imgPixelMap: PixelMap | null = null build() { Column({ space: 20 }) { Button('打开图片') .width('85%') .onClick(async () => { const uri = await this.selectPhoto() if (uri) { const pixelMap = await this.getPixMap(uri) this.imgPixelMap = pixelMap } }) Button('开始识别') .width('85%') .onClick(() => { this.recognize() }) Image(this.imgPixelMap) .objectFit(ImageFit.Contain) .height('45%') Text(this.text) .width('85%') .layoutWeight(1) .border({ style: BorderStyle.Dotted, width: 5, color: Color.Red }) } .width('100%') .height('100%') } async selectPhoto() { try { // 实例化照片选择器 const picker = new photoAccessHelper.PhotoViewPicker() // 选择图片 const uris = await picker.select({ MIMEType: photoAccessHelper.PhotoViewMIMETypes.IMAGE_TYPE, maxSelectNumber: 1 }) return uris.photoUris[0] } catch { console.log('err') return null } } // 根据图片路径转PixelMap async getPixMap(uri: string) { try { const imgSrc = await fileIo.open(uri, fileIo.OpenMode.READ_ONLY) let source = image.createImageSource(imgSrc.fd) return source.createPixelMapSync() } catch { console.log('error' + uri) return null } } // 文字识别 async recognize() { const info: textRecognition.VisionInfo = { pixelMap: this.imgPixelMap! } const res = await textRecognition.recognizeText(info, { isDirectionDetectionSupported: false }) this.text = res.value } }
总结
- 今天猫林老师给大家分享了鸿蒙提供的原生AI能力。其实听起来名字很高大上,用起来非常简单。这是因为鸿蒙帮我们做了高度封装,我们无须再关注OCR的相关知识,只需要使用鸿蒙提供的接口即可。所以,华为为了推广鸿蒙,发展鸿蒙生态,真的为开发者想了好多。这样的华为,你爱了吗?
- 友情提醒:本篇内容只适合用真机测试,模拟器无法出效果。
- P.S:根据猫林老师肉测,在API12版本中的Mac模拟器成功出效果。其他版本都不行。所以建议有条件还是上真机。