原始音频的生成及其特性
-
音频的数字化过程
将声波转化为电子信号(模拟信号→电子信号)
声音的主要参数: 振幅,频率
-
音频的主要参数：
- 位深度(Bit Depth): (对应声音的振幅)模拟信号转化为数字信号的取值范围,范围越大,音频表示精准
- 采样率(Sampling Rate): (对应声音的频率) 在一秒钟内对声音信号进行采样的次数,采样率越高,音频还原度越高
- 通道数(Channels): 描述了录音或播放系统中声音来源或输出
原始视频的生成及其特性
-
视频的数字化过程
光学信号转化为电子信号的过程(模拟信号→电子信号)
连续的多张图片(帧)进行快速播放,即为视频
图像主要参数: 亮度、色彩
-
视频的主要参数：
- 分辨率(Resolution): 描述了每帧图像的宽度和高度的像素数量，例如 1920x1080。分辨率越高，图像的细节和清晰度越好。
- 帧率(Frame Rate): 在一秒钟内捕获的帧数。帧率越高，视频的流畅度越好，动作越连贯。
- 色深(Color Depth): (对应图像的亮度,色彩). 描述了每个像素可以表示的颜色的位数。色深越大，图像可以展现的颜色范围和细节越丰富。
原始数据与编码与解码与封装(容器)格式与传输协议
- 原始数据：直接从声音或视频源捕获的未经处理的数据。例如，未压缩的 PCM 音频或 RAW(YUV, RGB, 即原始图像格式) 视频数据。
- 编码：原始数据经过某种算法处理后的数据，通常为了压缩或适应某种特定的应用或设备。
- 解码：解码是编码的反过程。它是将编码后的数据恢复为其原始或近似原始的形式。
- 封装(容器)格式：包含音频、视频、字幕等多种流的文件格式。例如，MP4、MKV、MOV、FLV等。
- 传输协议：用于在网络上发送音频和视频数据的规则和标准。例如:
- RTP (Real-time Transport Protocol)
- RTMP (Real Time Messaging Protocol)
- HLS (HTTP Live Streaming)
- MPEG-DASH (Dynamic Adaptive Streaming over HTTP)
- MPEG-DASH (Dynamic Adaptive Streaming over HTTP)
原始格式与编解码格式
音频：
原始格式只有 PCM 一种
常见编解码：AAC、MP3、FLAC等
视频：
常见原始格式： YUV420P、RGB24等
常见编解码：H.264、H.265 (HEVC)、VP9等。
