声音2数字语音的压缩编码

《声音2数字语音的压缩编码》由会员分享，可在线阅读，更多相关《声音2数字语音的压缩编码（52页珍藏版）》请在装配图网上搜索。

1、 2021-5-28南京大学多媒体研究所2 2021-5-28南京大学多媒体研究所4 o码率 = 取样频率 x 量化位数 x 通道数目 例: 电话语音 =8k x 8b x 1 = 64kbps =8kB/s=28MB/h o对数字语音进行数据压缩的目的:n提高通信/存储效率n降低通信/存储成本 2021-5-28南京大学多媒体研究所5 o声音信号中包含有大量的冗余信息n邻近样本之间有很大的相关性n周期之间的相关性n基音之间的相关性n长时（几十秒）自相关性n话音间歇（静音）o可以利用人的听觉感知特性进行压缩,o可以利用语音信号的生成机理进行数据压缩。 2021-5-28南京大学多媒体研究所6

2、n码率低（bitrate）n质量高（quality ： excellent, good, fair )n延时短（time delay） 25msn成本合理（cost effective） 2021-5-28南京大学多媒体研究所7 o波形编码 (Perception model-based compression)n优点 : 通用、音频质量较高n缺点 : 很难获得较大的压缩比n示例 : PCM, ADPCM, SBCo参数编码,源编码 (Production model-based compression)n优点: 压缩比较大n缺点: 信号源必须已知n示例: LPCo混合编码(Hybrid co

3、mpression)n示例 : CELP 2021-5-28南京大学多媒体研究所8极低低中码率(kb/s)1 2 4 8 16 32 64 优 良 中 差 坏语音质量模型编码（源编码）参数编译码器(source codecs)混合编码混合编译码器(hybrid codecs)波形编码 波形编译码器(waveform codecs) 2021-5-28南京大学多媒体研究所10 算法比较简单，容易实现，低延迟，压缩效率不高，数据速率在16 kbps以上，声音质量相当好，通用性好，适用于任意类型的数字声音，很成熟，有一系列国际标准：CCITT G.711 PCM 64kb/sCCITT G.721

4、ADPCM 32Kb/sCCITT G.726 ADPCM 48, 32, 24, 16 Kb/s已广泛应用于电话语音的中继线传输 2021-5-28南京大学多媒体研究所11 o编码过程：对数变换(压缩编码) F(n)低通滤波 (LPF)Xa(t) x(n)A/D(13位)取样(8kHz) X(n)分析：方法简单，易实时处理，语音质量好， 压缩效率不高，码率为64kbps。码率104 kbps码率 8位 x 8k64 kbps 2021-5-28南京大学多媒体研究所12 o目的 : 适应听觉的非线性特性；压缩数据。北美和日本等地区 （ 律压扩算法）当 0 = |x| = 1/A当 1/A |x

5、| = 1欧洲和中国大陆等地区 （ A律压扩算法） 2021-5-28南京大学多媒体研究所13 x(n): 线性码(1+12位) F(n): PCM码(1+7位) 0 0 0 0 0 0 0 W X Y Z a 0 0 0 W X Y Z 0 0 0 0 0 0 1 W X Y Z a 0 0 1 W X Y Z 0 0 0 0 0 1 W X Y Z a b 0 1 0 W X Y Z 0 0 0 0 1 W X Y Z a b c 0 1 1 W X Y Z 0 0 0 1 W X Y Z a b c d 1 0 0 W X Y Z 0 0 1 W X Y Z a b c d e 1 0

6、1 W X Y Z 0 1 W X Y Z a b c d e f 1 1 0 W X Y Z 1 W X Y Z a b c d e f g 1 1 1 W X Y ZXa(t)取样(8kHz) A/D(13位) x(n) A律 / u律压缩编码8位 x 8kHzF(n) 2021-5-28南京大学多媒体研究所14 o应用于数字声音的编辑处理（多媒体计算机）o应用于声音的传输（通信）: 长途电话 (8 KHz x 8 bit x 1), 时分多路复用TDM (time-division multiplexing) o应用于全频带数字声音的表示/存储: CD-DA（CD唱片），DAT (44.

7、1 KHz x 16 bit x 2) 2021-5-28南京大学多媒体研究所15 原理：1.声音信号具有很强的相关性，可从已知信号来预测未知信号, 即使用前面的样本预测当前的样本，实际样本值与预测值之间的误差往往很小。2.利用自适应的思想改变量化阶的大小，即使用小的量化阶(step-size)去编码小的差值，使用大的量化阶去编码大的差值，效果：量化位数可以显著减少，从而降低了总的码率。 2021-5-28南京大学多媒体研究所16 信号在时间上的冗余性无损地恢复初始信号 e可能的范围解决办法：SU, SD mk knknn faf 1 nnn ffe 2021-5-28南京大学多媒体研究所17

8、 o21, 22, 27, 25, 22o f2 21 e2=1o f3=21 e3=6o f4=24 e4=1o f5=26 e5=-4 nnnnnn ffefff )(21 21 2021-5-28南京大学多媒体研究所18 量化器 Q( m阶线性预测，A 1, A2, . , Am可自动修正。) 实际样本值线性预测公式： Xn = A1*Xn-1 + A2*Xn-2 + . + Am*Xn-m_线性预测器逆量化器 Q -1+预测值差值重建信号DPCM编码输出利用样本与样本之间存在的相关性进行编码，即根据前面的样本估算当前样本的大小，然后对预测误差进行量化编码。 2021-5-28南京大学多

9、媒体研究所19 E量化结果255240239224:31161501161732:225240241255248232:248824:232248 130，150，140，200，230f 130, 130, 142, 144, 167e 0, 20, -2, 56, 63e 0, 24, -8, 56, 56f 130, 154, 134, 200, 223 2021-5-28南京大学多媒体研究所20o根据输入样本幅度的大小来改变量化阶大小。o可以是瞬时自适应，即量化阶的大小每隔几个样本就改变，也可以是音节自适应，即量化阶的大小在较长时间周期里发生变化。 量化器 Q样本值量化阶适配器自适应A

10、PCM编码输出 2021-5-28南京大学多媒体研究所21 量化器 Q13位自然码的数字语音样本_线性预测器逆量化器 Q -1+预测值差值重建信号DPCM编码输出A量化阶适配器自适应( 4 位 ) 6阶自适应线性预测， 4位的自适应量化器， 输出码率： 8k x 4 = 32 kbps 2021-5-28南京大学多媒体研究所22 o PCM话音质量 4.5级o ADPCM话音质量 4.34级,码率降低一倍(32 kbps)。o ADPCM应用：n数字语音通信n多媒体应用中的语音（解说词） 2021-5-28南京大学多媒体研究所23 o基本原理：n利用带通滤波器(BPF)把声音信号按频率范围划分

11、成几个组成部分(子频带，子带)n低频部分能量较集中，量化精度要高，取样频率可稍低。n高频部分是摩擦音、噪音，量化精度可低些，但取样频率要稍高。n不同子频带作不同的ADPCM编码处理，然后再复合在一起。 2021-5-28南京大学多媒体研究所24 ADPCM编码器11250,3bitsADPCM编码器21429, 3bitsADPCM编码器31667, 2bitsADPCM编码器42500, 2bits MUX 16kbps SBC BP1 (200-700) BP2 (700-1310) BP3 (1310-2020) BP4 (2020-3200)64kbpsPCM 2021-5-28南京大

12、学多媒体研究所25 MUX 64kbps SBC数据插入部件辅助数据输入16kHz,14bits, 数字声音传输正交镜象滤波器 (TQMF) 4-8kHz0-4kHzXHXL 高频带 ADPCM编码器8000, 2bits 16 kbps 低频带 ADPCM 编码器8000, 6bits 48 kbps模式1：声音64kbps；辅助数据 0 模式2：声音56kbps；辅助数据 8 kbps模式3：声音48kbps；辅助数据 16kbps 2021-5-28南京大学多媒体研究所27 o分析人的发声器官的结构及语音生成的原理，o建立语音生成的物理(数学)模型，o编码时：从话音波形信号中提取生成该话

13、音的参数；o解码时：根据语音生成模型,使用这些参数合成原始话音。提取语音生成参数 语音生成模型（编码器）语音参数数字语音使用参数合成语音语音生成模型（解码器）重建的语音 2021-5-28南京大学多媒体研究所28 （1）o空气由肺部呼出，经过声带，送入声道，最后从嘴唇呼出，产生声音。o成年男子的声道平均长度约17cm，它使声音信号具有短期相关性(持续时间1 ms左右)o声道是一个谐振腔，说话时，声道形状不断变化，引起谐振频率改变，大约10 100 ms改变一次；o声道可以看作为具有共振特性的一个滤波器，由于声道形状变化比较慢，因此该滤波器的转移函数(transfer function)只需要每

14、20ms左右时间修改 一次。 声道声带空气语音 2021-5-28南京大学多媒体研究所29 o声道滤波器由肺部空气经过声带而激励，根据激励的模式，语音可分成2类：浊音（时间域）浊音Voiced sounds （声带震动，产生准周期的空气脉冲激励信号，送入声道）清音（时间域）清音Unvoiced sounds（声带不振动，声门始终处于“开”状态，送入声道的空气激励信号是一种无周期性的噪音信号） 2021-5-28南京大学多媒体研究所30 2021-5-28南京大学多媒体研究所31 LPC模型= (a1, a2, a3, a4, a5, a6, a7, a8, a9, a10, G, V/UV,

15、T)脉冲序列发生器随机噪声发生器基音周期T(声带振动)(声带不振动) UV(清音)V(浊音) H(z)声 道 参 数a1 a2 a3 a10.语音(声道滤波器) s(n)增益Gu(n)激励信号 2021-5-28南京大学多媒体研究所32 o语音是一个近似的短时(1030ms)平稳随机过程，LPC模型的参数A = (a1, a2, a3, a4, a5, a6, a7, a8, a9, a10, G, V/UV, T)变化比较慢, 大约每20ms变化一次；o假设语音信号的取样频率为8kHz，将每秒钟分成50帧，每帧 20ms(其中有20 x8=160个样本) ，每一帧的所有信号近似地满足同一模型

16、，即每一帧语音可以使用同一组参数来表示:n浊音还是清音（1位）n浊音的基频T（6位）n音源的幅度G（5位）n线性滤波器的参数 （10个参数，每个参数6位，共60位）所以，每秒总码率为：50 x 72 bits = 3600 bps = 3.6kbps 2021-5-28南京大学多媒体研究所33 o对声音波形的编码实际就转化为如何提取语音生成模型的参数，经典的方法是线性预测编码LPC。o每一个样本都用过去10个样本的线性组合来预测： spre(n) = - a1s(n-1)+a2s(n-2)+a10s(n-10)o样本s(n)的预测误差为: e(n) = s(n) - s pre(n) = s(

17、n) + a1s(n-1)+a2s(n-2) +a10s(n-10)10个样本s(n-10) s(n-2) s(n-1) s(n) 2021-5-28南京大学多媒体研究所34 o问题：对给定的一帧信号s(n) ，n=0.159，怎样选择系数ai 使得预测误差e(n)的平方和为最小？ 即 最小 o为此，上式对a1, a2, , a10 分别求偏导数得到一组差分方程 dE/da1 0, dE/da2 0, . , dE/da10 0, o求解差分方程组，可得到系数 ai 的值。E e(i)2i=0159 2021-5-28南京大学多媒体研究所35 R(0) R(1) R(2) R(3) R(4)

18、R(5) R(6) R(7) R(8) R(9) a1 -R(1) R(1) R(0) R(1) R(2) R(3) R(4) R(5) R(6) R(7) R(8) a2 -R(2) R(2) R(1) R(0) R(1) R(2) R(3) R(4) R(5) R(6) R(7) a3 -R(3) R(3) R(2) R(1) R(0) R(1) R(2) R(3) R(4) R(5) R(6) a4 -R(4) R(4) R(3) R(2) R(1) R(0) R(1) R(2) R(3) R(4) R(5) a5 -R(5) R(5) R(4) R(3) R(2) R(1) R(0)

19、R(1) R(2) R(3) R(4) a6 -R(6) R(6) R(5) R(4) R(3) R(2) R(1) R(0) R(1) R(2) R(3) a7 -R(7) R(7) R(6) R(5) R(4) R(3) R(2) R(1) R(0) R(1) R(2) a8 -R(8) R(8) R(7) R(6) R(5) R(4) R(3) R(2) R(1) R(0) R(1) a 9 -R(9) R(9) R(8) R(7) R(6) R(5) R(4) R(3) R(2) R(1) R(0) a10 -R(10) =其中 R(k) s(n)s(n+k), 是信号s(n)的自相关

20、性n=0159-k 2021-5-28南京大学多媒体研究所36 o浊音/清音的判定n比较困难，不正确的分类会大大降低语音质量n使用语音信号过零点的数目来判定； o基音周期T的估计n是生成高品质、高清晰语音的关键n常用方法：SIFT基音检测法，AMDF基音检测法o激励信号的增益G 1 )()0( i i iRaRG mN mn mN mnmN mn insnsinsnsiv 1 1 21221 )()()()()( 2021-5-28南京大学多媒体研究所37 o 20ms作为1帧，按帧进行编码o LPC系数的比特分配为：34 bito增益G ：7 bito浊音/清音及浊音的基音周期T：7 bit

21、o码率: 48x502.4kb/s 2021-5-28南京大学多媒体研究所38 例 LPC-10编码器(ANSI 1015 , 2.4kb/s)o 22.5ms作为1帧，以帧为单位进行编码，o LPC系数共10位，采用协方差方法计算，o浊音的基音周期T采用平均幅值差分函数(AMDF)计算，共60个值，范围51.3-400Hz，半对数表示，o激励信号：浊音采用标准化的存储波形 o码率：54 x 1000/22.5 = 2.4 kb/s 参数 浊音 清音 a1 5 5 a2 5 5 a3 5 5 a4 5 5 a5 4 - a6 4 - a7 4 - a8 4 - a9 3 - a10 2 - V

22、/UV 1 1 T 6 6 G 5 5 同步 1 1 误差保护 - 21 总计 54 54 2021-5-28南京大学多媒体研究所39 波形编码 参数编码 1 码率高 码率低 2 音质好 音质差 3 算法简单 算法复杂 4 可处理任何声音信号 仅处理语音信号o参数编码的数据率在2-4 kbps左右，产生的语音虽然可以听懂，但其质量远远低于波形编码。尽管它的音质比较低，但它的保密性能好，因此这种编译码器一直用在军事上. 2021-5-28南京大学多媒体研究所41 o参数编码在降低码率方面有很大突破，但语音质量尚不理想；原因是语音生成模型中的激励信号的处理过于简单：n不是清音就是浊音；实际上有些是

23、浊音、清音的混合；n浊音的激励信号是周期性的，实际上是准周期性的；脉冲序列发生器 随机噪声发生器基音周期(声带振动)(声带不振动)音源幅度音源幅度浊音清音线性滤波器声 道 参 数.语音(声道模型)激励信号改进思路：设计更好的激励信号。 2021-5-28南京大学多媒体研究所42 o思路: 使用合成-分析法AbS(Analysis-by-Synthesis)来改进参数编码, 其中声道滤波器模型仍与LPC编码器中的相同，但不使用两个状态(有声/无声)的模型作为滤波器的输入激励信号，而是增加反馈，调节激励信号u(n), 使语音输入信号s(n)与重建的语音信号误差e(n)为最小。误差信号按感知加权误差

24、最小？原始语音s(n)e(n)线性滤波器滤 波 器 参 数.合成语音激励信号的生成或选择激励信号u(n) s(n) 编码器通过“合成”许多不同的近似值来“分析”输入话音信号，所以称为“合成-分析编码器”。） 2021-5-28南京大学多媒体研究所43 激励信号生成的方法：1. 多脉冲线性预测编码MPLPC(multiple pulse LPC)2. 等间隔脉冲激励RPE (regular-pulse excited) 3. 码激励线性预测CELP (code excited linear predictive) 2021-5-28南京大学多媒体研究所44 o将原始语音分为20ms长度的帧, 对

25、每一帧计算出LPC的系数；o假设激励信号由k个脉冲组成，每个脉冲的幅度和位置待定；o从第1个脉冲开始，确定其幅度和位置；o若1，i-1个脉冲的幅度和位置已经确定，则确定第i个脉冲的幅度与位置；o上述过程重复k次，结束。决定第i个脉冲的幅度与位置多脉冲激励发生器LPC合成器感知权重i=1.k原始语音合成语音u(n)重复k次1 2 3 4 5 i i+1 k t 2021-5-28南京大学多媒体研究所45 o每一帧使用4组激励信号(即每5 ms有1组激励信号), 每一组激励信号使用13个脉冲，间隔时间相同，o编码器每5ms计算一次激励信号的参数（第1个激励脉冲的位置和所有其他脉冲的幅度），目标是使

26、40-120个样本范围的预测误差序列的自相关达到最大：56 bit / 5ms第一个激励脉冲的位置(相位2bit+量化因子6bit )13个脉冲的幅值(13x3bit)长时预测(LTP)系数(2bit), 长时预测延时(7bit) 每20ms进行一次短时预测，确定LPC的系数（共36比特）每20ms需4x56+36=260bit, 码率0.26x50=13kb/s 2021-5-28南京大学多媒体研究所46每5ms产生一组由13个脉冲组成的激励信号序列(56bit)每5ms计算一次，使40-120个样本范围的短时预测误差序列的自相关达到最大LPC滤波器有8个系数，共36bit，每20 ms 计

27、算一次每20ms生成4x56+36=260bit, 码率0.26x50=13kb/s 2021-5-28南京大学多媒体研究所47 o CELP算法, 1985提出。使用有限数量的激励信号存储在存储器中(称为码本)，以替代多脉冲激励。选用哪一个激励信号由码本的索引项指出，其增益项用来扩展它的功率。o在CELP基础上制定的话音编码标准:n美国的 ANSI的 4.8 kbps codecn ITU的“low-delay 16 kbps codec 2021-5-28南京大学多媒体研究所48 A lathe is a big tool. G rab every dish of sugar. 原始声音（

28、PCM）ADPCMCELPLD-CELPCS-ACELPLPC-10 2021-5-28南京大学多媒体研究所49 格式 码率1 min = Sample11,025Hz 16bit PCM 176.4kbs 1292k 11k16bitpcm.wav8000Hz 16bit PCM 128kbs 937.5k 8k16bitpcm.wav11,025Hz 8bit PCM 88.2kbs 646k 11k8bitpcm.wav11,025Hz u-Law 88.2kbs 646k 11kulaw.wav8,000Hz 8bit PCM 64kbs 468.8k 8k8bitpcm.wav8,0

29、00Hz u-Law 64kbs 468.8k 8kulaw.wav* toll quality telephone11,025Hz 4bit ADPCM 44.1kbs 323k 11kadpcm.wav8000Hz 4bit ADPCM 32kbs 234.4k 8kadpcm.wav11,025Hz GSM6.10 18kbs 131.8k 11kgsm.wav8,000Hz GSM6.10 13kbs 102.5k 8kgsm.wav* cell phone quality 8000Hz Lernout & Hauspie SBC 12.0kbs 87.9k 8ksbc12.wav8,

30、000Hz DSP Group TrueSpeech 9kbs 65.9k 8ktruespeech.wav8,000Hz Lernout & Hauspie CELP 4.8kbs 35k 8kcelp.wav 2021-5-28南京大学多媒体研究所50 标准方法比特率质量时间应用G.711 PCM 64 4.4 1972 PSTNANSI 1015 LPC-10 2.4 2.7 1976保密通信G.721 ADPCM 32 4.1 1984 PSTNGSM(欧洲蜂窝通信) RPE-CELP 13 3.6 1991ANSI 1016 CELP 4.8 3.2 1991G.728低延时CD-C

31、ELP 16 4.0 1992IS 54(北美TDMA) VSELP 8 3.5 1992IS 96(北美CDMA) QCELP 1-8 3.4 1993日本蜂窝通信VSELP 6.8 3.3 1993G.729A CS-ACELP 8 4.2 1995 IP电话G.723.1(H.323, H.324) ACELP 6.3 3.98 1995 IP电话半速率GSM(欧洲蜂窝通信) AMR 5-6 3.4 1995新的低速率ANSI标准MELP 2.4 3.3 1996 2021-5-28南京大学多媒体研究所52o如果有足够的比特精确地描述激励信号，则对声音模型的要求就可以低一些（波形编码器）o如果分配给激励信号的比特很少，激励信号描述就很粗糙，那么对模拟语音生成过程的滤波器要求就很高（参数编码器）；o采用合适的方法比较准确地描述激励信号和滤波器结构，就能达到编码效率高、声音质量好的效果（混合编码器）。 滤波器激励信号语音 语音生成(解码)的过程，可以统一地看作是一组激励信号经过滤波器滤波后得到的。滤波器用于模拟语音的生成过程。