网站在线客服系统实时语音视频聊天实战开发,利用peerjs vue.js实现webRTC网页音视频客服系统

webRTC机制和peerjs库的介绍在其他博客中已经有了很多介绍,这里我直接搬运过来

一、webrtc回顾

WebRTC(Web Real-Time Communication)即:网页即时通信。 简单点讲,它可以实现浏览器网页与网页之间的音视频实时通信(或传输其它任何数据),目前主流浏览器都支持该API,WebRTC现在已经纳入W3C标准。

1.1 媒体协商
通信的主要目的之一是彼此交换信息。打个比方:“张三”跟“李四”打了一通电话(语音通讯),整个过程中“张三”说的话被“李四”听到了,“李四”说的话被“张三”听到了,双方交换了语音信息。类似的,一个浏览器要与另一个浏览器发起实时音视频通信,需要交换哪些信息呢? 除了音视频信息外,至少还有2个关键信息要交换:媒体信息和网络信息。

如上图:通常某个浏览器所在的电脑,都会连接具体的多媒体设备(比如:麦克风、摄像头)。如果A电脑上的摄像头只支持VP8,H264格式,而另一台电脑上的摄像头只支持H264、MPEG-4格式,它俩要能正常播放彼此的视频,肯定会选择双方都能识别的H264格式。这就好比:2个不同国籍的人要相互交流,A会说英语、中文;而B只会说英语,毫无悬念,他俩肯定会用双方都能听懂的“英语”来沟通。

 

网络情况也是类似的,二个浏览器所在的电脑可能在不同的网络环境中,假如A机器具备公网+192内网网段,而B机器只有192+198内网网段,二台电脑要能相互连接,很容易想到,使用双方都能连通的公共192内网网段通信最为方便。
在webrtc中,有一个特定的协议用于描述媒体信息、网络信息和其它一些关键信息,称为SDP(Session Description Protocol-会话描述协议)。而上述介绍的交换媒体信息、网络信息的过程,也被称为媒体协商,即:交换SDP.

这是一张媒体协商过程的经典图例, Amy要跟Bob通信, 要先发一个Offer(即: 描述Amy自己会话的SDP), Bob收到后,做出Answer回应(即:描述Bob自己会话的SDP), 双方完成SDP交换后, 根据前面的分析,取出二份SDP的交集, 即完成了媒体协商.

1.2 主要处理过程

这是mozilla开发者官网上的一张图, 大致描述了webrtc的处理过程:

  • A通过STUN服务器,收集自己的网络信息
  • A创建Offer SDP,通过Signal Channel(信令服务器)给到B
  • B做出回应生成Answer SDP,通过Signal Channel给到A
  • B通过STUN收集自己的网络信息,通过Signal Channel给到A

注:如果A,B之间无法直接穿透(即:无法建立点对点的P2P直连),将通过TURN服务器中转。

二、下载引入peerjs

vue环境下引入第三方库,并且不是使用npm包的形式,在官网下载peer.js,放入src/tools/目录里

在聊天页面的vue中,引入这个函数库

import "../tools/peer.js"

发送语音邀请

在html中增加一个请求通话的按钮,点击的时候调用指定函数,效果如图:

 

 

 

                    <div class="iconExtendBtn" @click="callPhone()">
                        <div class="elIcon el-icon-phone-outline" style="font-size: 22px;"></div>
                        <div>语音</div>
                    </div>

实现这个点击函数,我们需要获取到当前设备的音频和视频流,需要访问访问用户的音频和视频设备(如摄像头和麦克风),这样我们就拿到了本地音视频流

另一篇文章有介绍最兼容的getUserMedia获取音视频流的函数方法

拿到音视频流以后再去初始化一下PeerJs服务,拿到peerjs的id,这个ID就是我们通话的身份ID,非常重要

            //语音请求
            callPhone(){
                var _this=this;
                let res=tools.getCompatibleUserMedia({video:true, audio: {
                    noiseSuppression: true,
                    echoCancellation: true,
                }},function(stream) {
                    _this.initPeerjs(function(peerid){
                        //初始化成功
                        _this.peerjs.peerjsId=peerid;
                        _this.peerjs.localStream=stream;
                    });
                },function(err) {
                    _this.$message({
                        type: 'error',
                        message: err
                    });
                });
                if(!res){
                    _this.$message({
                        type: 'error',
                        message: "Your browser does not support the getUserMedia API."
                    });
                }
            },
            //初始化peer
            initPeerjs(callback){
                let peer = new Peer();
                this.peerjs.peer=peer;
                var _this=this;
                peer.on('open', function(id) {
                    console.log('My peer ID is: ' + id);
                    callback(id);
                });
                peer.on('close', function() {
                    console.log('My peer close');
                });
                peer.on('disconnected', function() {
                    console.log('My peer disconnected');
                });
                peer.on('error', function() {
                    console.log('My peer error');
                });
            }

我们想对客服发起语音通话,那么就需要拿到客服的peerid,那怎么才能知道客服的peerid呢?

那么我们在初始化好自己的peerid以后,调用一个后端接口,让客服把他们的peerid发过来,这样我们才能知道客服的peerid

                        //请求客服发送他们的peerid过来
                        _this.$axios.post(_this.ApiHost+'/2/callKefu',{"action":"callpeer",kefu_id:_this.visitor.to_id,visitor_id:_this.visitor.visitor_id});
                        _this.$message({
                            type: 'success',
                            message: "请求通话指令已经发出!"
                        });

同样,后端客服在接收到访客请求通话的指令后,就初始化自己的peerjs ID,然后调用后端接口,把自己的peerjs ID传递过来(这里暂时先略过客服端的操作)

我们在WebSocket中接收到客服的peerjs ID以后进行远程调用操作

                     //客服接受通话
                    if(type=="accept"){
                        _this.peerjs.kefuPeerId=data;
                        //访客调用客服
                        _this.callPeer();
                    }
            //call peer
            callPeer(){
                var _this=this;
                //调用请求远程客服
                let call = _this.peerjs.peer.call(_this.peerjs.kefuPeerId, _this.peerjs.localStream);
                call.on('stream', function(remoteStream) {
                    console.log("call stream",remoteStream);
                });
                call.on('close', function() {
                    console.log("call close");
                });
                call.on('error', function(err) {
                    console.log("call error",err);
                });
                this.peerjs.call=call;
            }

这样就在call.on('stream')中拿到了客服的音视频流,现在只需要把这个音视频流展示到界面上就可以了

 

 界面上加上两个标签video和audio

        <div class="coverMask" v-show="peerjs.remoteVideoStream">
            <video id="remoteVideo" controls autoplay></video>
        </div>
        <div class="coverMask" v-show="peerjs.remoteAudioStream">
            <audio id="remoteAudio" controls autoplay></audio>
        </div>

把获取到的视频流,音频流展示出来

                call.on('stream', function(remoteStream) {
                    console.log("call stream",remoteStream);
                    var videoTracks = remoteStream.getVideoTracks();
                    var audioTracks = remoteStream.getAudioTracks();
                    //视频流
                    if (videoTracks.length > 0) {
                        var remoteVideo = document.getElementById("remoteVideo");
                        remoteVideo.srcObject = remoteStream;
                        remoteVideo.play();
                        _this.peerjs.remoteVideoStream=remoteStream;
              return; }
//音频流 if (audioTracks.length > 0) { var remoteAudio = document.getElementById("remoteAudio"); remoteAudio.srcObject = remoteStream; remoteAudio.play(); _this.peerjs.remoteAudioStream=remoteStream; } });

 

 

posted @ 2023-02-12 22:59  唯一客服系统开发笔记  阅读(533)  评论(0编辑  收藏  举报