简介
OpenAtom OpenHarmony(以下简称“OpenHarmony”)是由开放原子开源基金会孵化及运营的开源项目,是面向全场景、全连接、全智能时代的智能物联网操作系统。
多媒体子系统是OpenHarmony系统中的核心子系统,为系统提供了相机、音频和视频等多媒体功能。多媒体子系统的音频模块、音频录音功能可以提供两套接口,一是由ohos.multimedia.media提供的AudioRecorder接口,能够直接设置录音保存的文件路径,在录制结束以后自动生成对应的录音文件,代码编写比较简单;二是由ohos.multimedia.audio提供的AudioCapturer接口,能够获得录音过程中的PCM数据,并对数据进行处理。由于Capturer接口对于原始数据的处理更加灵活,今天就和大家介绍通过Capturer接口实现录音变速的功能的方法。
效果展示
通过Capturer接口实现音频的录制,在录制过程中对PCM数据进行重采样实现声音的快放和慢放。
首先设置录音加速或者录音减速,设置完成以后点击“录音开始”按钮进行录音,点击“录音结束”按钮停止录音,再通过点击“播放开始”对录音的音频进行播放,播放的音频是设置后的加速或者减速效果。
代码已经上传至SIG仓库,链接如下:
https://gitee.com/openharmony-sig/knowledge_demo_entainment/tree/master/FA/AudioChangeDemo
目录结构
调用流程
1.Start的框架层调用流程
2. Read的框架层调用流程
源码分析
1.首先看一下页面的布局,主要分为四个模块:
(1)设置录音加速
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | <div style= "text-color: aqua;margin-bottom: 20fp;" > <text style= "font-size: 30fp;" >设置录音加速:</text> </div> <div class = "container" > <button class = "first" type= "capsule" onclick= "set_5_4" >1.25倍速</button> <button class = "first" type= "capsule" onclick= "set_6_4" >1.5倍速</button> </div> <div class = "container" > <button class = "first" type= "capsule" onclick= "set_7_4" >1.75倍速</button> <button class = "first" type= "capsule" onclick= "set_8_4" >2倍速</button> </div> |
(2)设置录音减速
1 2 3 4 5 6 7 8 9 | <div style= "text-color: aqua;margin-bottom: 20fp;margin-top: 20fp;" > <text style= "font-size: 30fp;" >设置录音减速:</text> </div> <div class = "container" > <button class = "first" type= "capsule" onclick= "set_3_4" >0.75倍速</button> <button class = "first" type= "capsule" onclick= "set_2_4" >0.5倍速</button> </div> |
(3)录音
1 2 3 4 5 6 7 8 9 10 | <div style= "text-color: aqua;margin-bottom: 20fp;margin-top: 20fp;" > <text style= "font-size: 30fp;" >录音:</text> </div> <div class = "container" > <button class = "first" type= "capsule" onclick= "record" >录音开始</button> <button class = "first" type= "capsule" onclick= "recordstop" >录音结束</button> </div> |
(4)播放
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 | <div style= "text-color: aqua;margin-bottom: 20fp;margin-top: 20fp;" > <text style= "font-size: 30fp;" >播放:</text> </div> <div class = "container" > <button class = "first" type= "capsule" onclick= "play" >播放开始</button> <button class = "first" type= "capsule" onclick= "playstop" >播放结束</button> </div> <div class = "container" > <video if = "{{ display }}" id= "{{ videoId }}" class = "video" src= "{{url}}" autoplay= "{{ autoplay }}" controls= "{{ controlShow }}" muted= "false" onseeked= "seeked" onprepared= "prepared" > </video> </div> |
2.逻辑代码在JS中:
(1)首先通过AudioCapturer接口获取到PCM数据,再通过调用AudioCapturer的start接口来启动录音流程。
1 2 3 4 5 6 7 8 9 10 11 12 | globalThis.capturer.start().then(function () { console.log( "gyf start" ); globalThis.capturer.getBufferSize((err, bufferSize) => { if (err) { console.error( 'gyf getBufferSize error' ); } else { console.log( "gyf bufferSize = " + bufferSize); globalThis.getBuf(bufferSize); } }); }); |
(2)启动成功以后,getBuf会调用到getData函数,getData函数通过AudioCapturer的read方法来读取数据,成功读取到数据以后,通过handleBuffer函数对数据进行处理。handleBuffer函数的参数arrayBuffer就是通过read方法读取出来的pcm数据,在handleBuffer中对数据进行了快速播放或者慢速播放的处理。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 | //循环调用read,进行数据的读取 handleBuffer(arrayBuffer) { console.log( "gyf handleBuffer" ); let result = new Uint8Array(arrayBuffer); console.log( "gyf handleBuffer ================== " + result); let outData = this .test(result, up, down); fileio.writeSync(globalThis.fd, outData.buffer); globalThis.capturer.read(globalThis.bufSize, true ).then( this .handleBuffer); }, getData(bufSize) { console.log( "gyf getData" ); globalThis.capturer.read(bufSize, true ).then( this .handleBuffer); }, getBuf(bufSize) { console.log( "gyf getBuf" ); this .getData(bufSize); }, |
(3)快速播放或者慢速播放是通过up和down两个方法的组合来实现的,down方法的原理是对PCM数据进行插值处理,在相邻两点间插入down个采样点,up方法的原理是间隔抽取,间隔up个点进行抽取采样。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 | up(data, up) { if (1 == up) { return data; } let length = data.byteLength; let upLength = Math.round(length / up); var upData = new Uint8Array(upLength); for ( var i = 0, j = 0; i < length; ) { if (j >= upLength) { break ; } upData[j] = data[i]; i += up; j++; } return upData; }, down(data, down) { if (1 == down) { return data; } let length = data.byteLength; let downLength = Math.round(length * down); var downData = new Uint8Array(downLength); for ( var i = 0, j = 0; i < length - 1; ) { for ( var k = 0; k < down; k++) { downData[j] = data[i]; j++; } i++; } return downData; }, |
(4)将down和up的方法组合调用,来实现1.25倍、1.5倍、1.75倍、2倍、0.75倍、0.5倍的速度播放。
1 2 3 4 5 6 | test(data, up, down) { let downData = this .down(data, down); let upData = this .up(downData, up); return upData; }, |
(5)播放wav格式的音频文件,采集获取PCM数据,需要我们根据设置的参数对pcm数据进行添加wav的头部信息,通过创建AudioCapturer实例的时候设置采集音频的参数,如采样率、通道数、采样格式等。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 | //音频采集初始化 var audioStreamInfo = { samplingRate: audio.AudioSamplingRate.SAMPLE_RATE_8000, channels: audio.AudioChannel.CHANNEL_1, sampleFormat: audio.AudioSampleFormat.SAMPLE_FORMAT_U8, encodingType: audio.AudioEncodingType.ENCODING_TYPE_RAW } var audioCapturerInfo = { source: audio.SourceType.SOURCE_TYPE_MIC, capturerFlags: 1 } var audioCapturerOptions = { streamInfo: audioStreamInfo, capturerInfo: audioCapturerInfo } let that = this ; audio.createAudioCapturer(audioCapturerOptions,(err, data) => { if (err) { console.error(`gyf AudioCapturer Created : Error: ${err.message}`); } else { console.info( 'gyf AudioCapturer Created : Success : SUCCESS' ); that.capturer = data; } }); |
(6)根据这些参数设置的信息需要对wav文件写入文件头,头信息一般包含44个字节,里面需要设置三个chunk的信息(RIFF chunk、fmt chunk、data chunk),具体的信息可以查看官网的介绍WAV文件格式介绍:
(http://www-mmsp.ece.mcgill.ca/Documents/AudioFormats/WAVE/WAVE.html)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 | //假设数据为1000秒钟的时间(8000 * 1000) encodeWAV() { var dataLen = 8000000; var sampleRate = 8000; var sampleBits = 8; var buffer = new ArrayBuffer(44); var data = new DataView(buffer); var channelCount = 1; // 单声道 var offset = 0; // 资源交换文件标识符 this .writeString(data, offset, 'RIFF' ); offset += 4; // 下个地址开始到文件尾总字节数,即文件大小-8 data.setUint32(offset, 36 + dataLen, true ); offset += 4; // WAV文件标志 this .writeString(data, offset, 'WAVE' ); offset += 4; // 波形格式标志 this .writeString(data, offset, 'fmt ' ); offset += 4; // 过滤字节,一般为 0x10 = 16 data.setUint32(offset, 16, true ); offset += 4; // 格式类别 (PCM形式采样数据) data.setUint16(offset, 1, true ); offset += 2; // 通道数 data.setUint16(offset, channelCount, true ); offset += 2; // 采样率,每秒样本数,表示每个通道的播放速度 data.setUint32(offset, sampleRate, true ); offset += 4; // 波形数据传输率 (每秒平均字节数) 单声道×每秒数据位数×每样本数据位/8 data.setUint32(offset, channelCount * sampleRate * (sampleBits / 8), true ); offset += 4; // 快数据调整数 采样一次占用字节数 单声道×每样本的数据位数/8 data.setUint16(offset, channelCount * (sampleBits / 8), true ); offset += 2; // 每样本数据位数 data.setUint16(offset, sampleBits, true ); offset += 2; // 数据标识符 this .writeString(data, offset, 'data' ); offset += 4; // 采样数据总数,即数据总大小-44 data.setUint32(offset, dataLen, true ); offset += 4; return data; }, |
总结
本文介绍了通过使用OpenHarmony音频模块的AudioCapturer接口实现录音功能。AudioCapturer接口对于原始数据的处理非常灵活,能够对采集的数据进行插值/抽值的重采样处理,并将处理后的音频处理保存至本地文件。由于本地文件使用的是WAV格式,故在写数据前需要对WAV文件进行头部信息的添加,这些信息可以根据创建AudioCapturer时设置的参数来进行设置,以此保证头部信息的准确性,最后再通过应用层的video组件对音频数据进行播放。
希望这篇文章能为开发者提供一些新的思路,从而进行其他场景的拓展,例如将获取到采集的数据通过这种方式实现语音识别、语音转写等功能,在实践开发的过程中为OpenHarmony生态的发展贡献一份力量。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 在鹅厂做java开发是什么体验
· 百万级群聊的设计实践
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战
· 永远不要相信用户的输入:从 SQL 注入攻防看输入验证的重要性
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析