多带激励声码器ppt课件

《多带激励声码器ppt课件》由会员分享，可在线阅读，更多相关《多带激励声码器ppt课件（50页珍藏版）》请在装配图网上搜索。

1、为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能11.2多带激励语音模型 11.1概述11.4多带激励语音合成11.3多带激励语音分析 为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能第第1111章多带激励声码器章多带激励声码器11.1概述CELP、MPLPC等：等：全极点模型全极点模型、LPC 分析分析，合成合成-分析法分析法，听觉加权听觉加权方均误差准则，方均误差准则，闭环闭环确定激励参数。确定激励参数。这类这类混合编码混合编码，在，在 4.816 kbit/s 码率

2、内获得巨大成功。码率内获得巨大成功。关键技术：关键技术：是保持了合成语音与原始语音波形的相似性。是保持了合成语音与原始语音波形的相似性。再降数码率时，合成语音质量迅速下降。再降数码率时，合成语音质量迅速下降。LPC 声码器：声码器：（清（清/浊音）浊音）二元激励模型二元激励模型，分析分析-合成法合成法，LPC 分析分析，清清/浊音判别浊音判别，估计，估计基音周期基音周期。SNR 较高时，较高时，2.4 kbit/s 及以下码率，语音及以下码率，语音可懂度可懂度相当高。相当高。以上编码器，当噪声较大时，因无法准确提取参数，以上编码器，当噪声较大时，因无法准确提取参数，性能性能严重恶化严重恶化；其

3、它声码器，如其它声码器，如通道声码器通道声码器、同态声码器同态声码器等也有同样弱点。等也有同样弱点。第11章多带激励声码器 11.1概述同济大学电子与信息工程学院 -2-赵晓群 教授为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能产生原因：产生原因：二元激励模型二元激励模型过于简化，不符合实际语音的特性。过于简化，不符合实际语音的特性。许多语音段，同时含许多语音段，同时含周期性周期性、非周期性非周期性分量，分量，过渡音段过渡音段、有噪浊音段有噪浊音段更是如此。更是如此。当用当用二元谱二元谱来拟合时，合成语音来拟合时，合成语音缺乏自然

4、度缺乏自然度。1988 年年 MIT 林肯实验室林肯实验室提出提出多带激励多带激励（MBE）语音编码语音编码，突破突破二元激励的局限性，对二元激励的局限性，对多个频带多个频带逐个进行逐个进行 V/U 判决判决，故称为多带激励模型。故称为多带激励模型。采用采用合成合成-分析法分析法，在，在 2.4 4.8 kbit/s 码率码率时性能优良。时性能优良。改进方案被改进方案被国际海事卫星组织国际海事卫星组织采用（采用（INMARSAT-M Voice Codec），），码率码率为为 6.4 kbit/s。本章主要内容：本章主要内容：MBE 原理原理，参数提取参数提取方法，方法，合成语音合成语音的方法

5、。的方法。重点介绍重点介绍 INMARSAT-M Voice Codec 标准标准的算法。的算法。第11章多带激励声码器 11.1概述同济大学电子与信息工程学院 -3-赵晓群 教授为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能第第1111章多带激励声码器章多带激励声码器11.2多带激励语音模型窗选语音信号窗选语音信号为（窗长为（窗长 2040 ms）：）：源源-系统语音模型系统语音模型理论，语音段是理论，语音段是线性系统线性系统（声道）（声道）对某种对某种激励信号激励信号的响应。的响应。设系统的设系统的单位脉冲响应单位脉冲响应为，

6、则的为，则的 Fourier 变换变换可表示为：可表示为：式中式中Hw(),Ew()hw(n),ew(n)的的 Fourier 变换变换。重建语音信号谱重建语音信号谱 Xwr()可表示为：可表示为：式中式中Hwr()合成滤波器合成滤波器的的系统函数系统函数；Ewr()合成滤波器的合成滤波器的激励信号激励信号的的 Fourier 变换变换。两者皆从两者皆从原始语音信号原始语音信号中分析中分析提取提取。第11章多带激励声码器 11.2多带激励语音模型 同济大学电子与信息工程学院 -4-赵晓群 教授()()()wxnx n w n()()()wwwXHE()()()wrwrwrXHE清音波形为深入学

7、习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能Hwr()用用全极点函数全极点函数来逼近，相应于来逼近，相应于 Xwr()的的谱包络谱包络。MBE 按按基音基音各各谐波谐波，将语音分成若干个，将语音分成若干个子频带子频带 （如以（如以 3 个相邻的谐波频带为一组进行分带），个相邻的谐波频带为一组进行分带），分别对各子带进行分别对各子带进行 V/U 判决判决，激励信号激励信号为各子带的为各子带的和和。清音带：清音带：用用白噪声谱白噪声谱作为作为激励信号谱激励信号谱；浊音带：浊音带：用用周期性周期性的的 Pw()作为作为激励信号谱激励信号谱。激

8、励信号是激励信号是周期性信号周期性信号与与非周期性噪声非周期性噪声按不同频带混合而成。按不同频带混合而成。系统函数系统函数 Hwr()的作用是：的作用是：调整调整各子带分量的相对各子带分量的相对幅度幅度和和 相相位位，并将，并将 Ew()映射成映射成 Xw()。该模型较符合实际语音的特性，使该模型较符合实际语音的特性，使合成语音谱合成语音谱同同原语音谱原语音谱 在频谱精细结构上在频谱精细结构上拟合得更好拟合得更好。若还利用谱的若还利用谱的相位相位信息，则能够合成出高质量的语音。信息，则能够合成出高质量的语音。第11章多带激励声码器 11.2多带激励语音模型 同济大学电子与信息工程学院 -5-赵

9、晓群 教授为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能图图11.1：典型的典型的浊音浊音、清音清音和和混合语音混合语音段的分析段的分析-合成情况。合成情况。MBE 编码过程涉及三种参数的提取，编码过程涉及三种参数的提取，基音频率基音频率；每个每个子带子带的谱包络的的谱包络的幅度幅度和和相位相位参数；参数；每个每个子带子带的的 V/U 判决判决。图图11.2：MBE 语音语音编编/解码器解码器的简化原理图。的简化原理图。第11章多带激励声码器 11.2多带激励语音模型 同济大学电子与信息工程学院 -6-赵晓群 教授图图11.2MB

10、E声码器语音编声码器语音编/解码器原理图解码器原理图清语音合成清语音合成浊语音合成浊语音合成基音周期估计基音周期估计谐波产生谐波产生频带划分频带划分幅度估计幅度估计清清/浊判决浊判决相位计算相位计算FFT传传 输输 输出输出Hamming窗窗()x n0TkA/V Uk0TkA/V Uk()wx n为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能同济大学电子与信息工程学院 -7-赵晓群 教授(a)浊语音段浊语音段 (b)清语音段清语音段 (c)混合语音段混合语音段图图11.1语音语音MBE的分析的分析-合成波形（合成波形（10 kH

11、z采样，采样，256点点Hamming窗）窗）浊音波形清音波形混合音波形加窗语音谱加窗语音谱加窗语音谱谱包络谱包络谱包络U/V判决结果U/V判决结果U/V判决结果周期谱P(ej)周期谱P(ej)周期谱P(ej)白噪声谱白噪声谱白噪声谱激励信号谱激励信号谱激励信号谱合成语音谱合成语音谱合成语音谱为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能同济大学电子与信息工程学院 -8-赵晓群 教授第第1111章多带激励声码器章多带激励声码器11.3多带激励语音分析MBE模型参数的最优提取，计算量大，工程难以实时实现。模型参数的最优提取，计算量大

12、，工程难以实时实现。常用常用次优次优算法，分两步完成参数的提取：算法，分两步完成参数的提取：确定确定基音频率基音频率和和每个分带每个分带的的谱包络谱包络参数，用参数，用 AbS 法法提取提取；对对每个分带每个分带进行进行 V/U 判决判决。有两种参数提取方案：有两种参数提取方案：使下列使下列加权积分加权积分值（值（加权方均谱误差加权方均谱误差）为）为最小最小：应使下列应使下列加权积分加权积分值达到值达到最小最小：式中式中 G()频率加权函数频率加权函数；Xw(),Xwr()原始语音谱原始语音谱和和合成语音谱合成语音谱。第11章多带激励声码器 11.3多带激励语音分析 21()()()d2wwr

13、GXX21()()()d2wwrGXX差别：差别：方案方案 利用语音谱的利用语音谱的模值模值；方案方案 利用利用模值模值和和相位相位，性能优于，性能优于 ，但计算复杂，码率有所增加。但计算复杂，码率有所增加。为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能INMARSAT-M Voice Codec 采用方案采用方案。本节主要内容：本节主要内容：11.3.1频域分析频域分析11.3.2时域分析时域分析11.3.3INMARSAT-M 改进改进 MBE 模型分析算法模型分析算法 第11章多带激励声码器 11.3多带激励语音分析 同济大

14、学电子与信息工程学院 -9-赵晓群 教授为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能11.3.1频域分析频域分析1.基音估计及各次谐波幅度的计算基音估计及各次谐波幅度的计算设设基音周期基音周期为为 T0（基音角频率基音角频率 0=2/T0）。）。依次依次假设假设 0 为各种可能出现的值。为各种可能出现的值。对于对于可能可能的的基音角频率基音角频率值值0，将，将=-分为若干频带，分为若干频带，分界点分界点为：为：am=(m-0.5)0,bm=(m+0.5)0,m=0,1,(M+1)设设每个每个分带分带 am,bm 中中 Hwr()

15、保持不变，保持不变，Hwr()=Am，则有：则有：式中式中 总的总的加权方均谱加权方均谱误差；误差；m 第第m子带子带加权方均谱加权方均谱误差，误差，或或 第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -10-赵晓群 教授21()()()d2mmbmwmwraGXAE21()()()d2mmbmwmwraGXA EMmmM仅考虑仅考虑幅度谱幅度谱时时考虑考虑幅度、幅度、相位谱相位谱时时为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能令令或，或，由上两式可分别由上两式可分别解得解得一组一组最佳最佳 和和

16、 ：或或若若第第 m 次谐波次谐波的能量显的能量显周期性周期性，则其能量集中在该谐波附近，则其能量集中在该谐波附近;选选周期性周期性 Pw()的作为的作为激励信号激励信号 Ewr()，则则合成语音谱合成语音谱Xwr()与与窗选语音谱窗选语音谱 Xw()在在第第 m 次谐波次谐波带内将拟合得很好（带内将拟合得很好（m 最小）。最小）。若若第第 m 次谐波次谐波的能量显的能量显非周期性非周期性，则则 Xw()在该频带内没有特征性的形状。在该频带内没有特征性的形状。仍用仍用 Pw()作为激励，作为激励，m 值将较大。此时，值将较大。此时，应选应选噪声噪声为激励。为激励。第11章多带激励声码器 11.

17、3多带激励语音分析 同济大学电子与信息工程学院 -11-赵晓群 教授2()()()d()()dmmmmbbmwwrwraaAGXEGE2()()()d()()dmmmmbbmwwrwraaAGXEGE/0/0mmmmAAmmAA仅考虑仅考虑幅度谱幅度谱时时考虑考虑幅度、幅度、相位谱相位谱时时为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能分析分析周期性周期性与与非周期性非周期性信号激励时的信号激励时的最佳解最佳解。浊音频带时浊音频带时，选，选 Pw()为为激励信号激励信号，由上页两式得：，由上页两式得：清音频带时，清音频带时，激励采

18、用激励采用理想白噪声理想白噪声（幅度谱幅度谱=1），则有：），则有：第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -12-赵晓群 教授2()()()d()()dmmmmbwwambwaGXPAGP2()()()d()()dmmmmbwwambwaGXPAGP()()d()dmmmmbbmwaaAGXG仅考虑仅考虑幅度谱幅度谱时，时，最佳谱幅度最佳谱幅度考虑考虑幅度、相位谱幅度、相位谱时，时，最佳谱包络最佳谱包络。相位信息无关紧要，相位信息无关紧要，在此在此无需计算无需计算 Am。为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充

19、分发挥中小学图书室育人功能对于对于假定假定基音频率基音频率 0 的每一个谐波，的每一个谐波，计算计算 Am 或或 Am，再求再求出出各次谐波内各次谐波内的最小误差的最小误差 。则整个频带的总的最小误差：则整个频带的总的最小误差：每假设一个每假设一个基音频率基音频率 0，计算出对应的，计算出对应的 0。显然，正确的显然，正确的基音周期基音周期或其或其倍数倍数上，上，0 取取极小值极小值。搜索搜索 0 的全局最小值对应的的全局最小值对应的 T0=2/0 值可能是值可能是 正确的正确的基音周期基音周期的某个整数倍值。的某个整数倍值。因而，还需要对因而，还需要对T0/2、T0/3、处的处的 0 进行进

20、行校核校核，以判断以判断正确正确的的基音周期基音周期，从而确定，从而确定最佳基音周期最佳基音周期。最后确定最佳基音周期时，还最后确定最佳基音周期时，还需要考虑需要考虑前后帧前后帧的情况。的情况。一般相邻帧的一般相邻帧的 T0 值变化不会太大。值变化不会太大。第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -13-赵晓群 教授00MmmM0mm为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能2.谐波频带内谐波频带内 V/U 判决判决第第 m 子带的子带的归一化误差能量归一化误差能量为：为：采用采用激励信号

21、激励信号 Pw()（谱幅度谱幅度Am 或或谱包络谱包络 Am、周期周期 T0）是第是第 m 谐波子带的谱拟合误差。谐波子带的谱拟合误差。令令频率加权函数频率加权函数 G()=1，上式化简为：，上式化简为：子带判决：子带判决：可以将相邻的几个谐波频带可以将相邻的几个谐波频带合并合并成一个成一个子频带子频带，用上述同样的方法用上述同样的方法提取提取Am 或或 Am，并，并进行进行 V/U 判决判决。第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -14-赵晓群 教授002(1/2)()()dmmbmmwaGX002(1/2)()dmmbmmwaX0m0域值判决此子带为

22、浊音带域值判决此子带为清音带m为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能11.3.2时域分析时域分析W()：窗函数窗函数 w(n)的的 Fourier 变换，变换，0：归一化基音角频率归一化基音角频率（基音周期基音周期 T0，0=2/T0）假设假设在在-频率范围内共频率范围内共 2M 个个谐波谐波，Pw()为为激励激励时，有时，有:式中，式中，第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -15-赵晓群 教授()()jeMnnMWw n0()()TTMwrmmMXA WmW aa W0001()

23、,(1),(),TTMMMWMWMWMAAAWa为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能令频率令频率加权函数加权函数 G()=1，由前面给出的式子，由前面给出的式子 得，得，全带拟合误差全带拟合误差：式中，式中，由由上上式式可可求出求出使使 取取极小值极小值的矢量的矢量 a 为为：再再代入代入上上式式，结合结合上页上页式，得式，得：式中，式中，因此，对于某个因此，对于某个选定选定的的 T 值值时时，计算计算 min 等价等价于于 max。第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -16-赵

24、晓群 教授21()2HHHdwXb a a b a RaT11d,()d22wXRW WbW21()()()d2wwrGXX 注：注：上标上标 T 为转置为转置 H 为共轭转置为共轭转置1aR b2211()()22HddwwXX a Ra211()2HHdwrXa Rab R b为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能为了为了方便方便，选择，选择窗函数窗函数 w(n)，使其满足使其满足频域内正交条件频域内正交条件：，I 是是单位矩阵单位矩阵；相当于相当于时域时域内内满足条件满足条件：还要求还要求其其 Fourier 变换的

25、变换的泄露泄露足够小，足够小，主瓣宽度主瓣宽度足够窄足够窄（此宽度不应大于基音频率值此宽度不应大于基音频率值）。满足满足上述上述条件且条件且 w(n)为为偶函数偶函数时时，上页计算上页计算 式可式可改写改写为：为：注意到注意到 0M=近似成立，且近似成立，且 0T=2，则上式可，则上式可简化简化为为：式式中中 T 假定的假定的基音周期基音周期；w2(n)x(n)的的自相关函数自相关函数，第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -17-赵晓群 教授0()22()()()()jHeMm n kknmMw n x n w k x kb b22()()()()()

26、knkTw n x n w nkT x nkTTkTT1d2W WRI2()1nw n22()()()()()nmw n x n w nm x nm()m为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能由由 Parseval 定理，定理，总拟合误差总拟合误差写成写成：为了去除由于为了去除由于 T 值增加造成值增加造成的的下降，需要对下降，需要对上上式式修正修正，以保证真正的以保证真正的基音周期基音周期对应的是全局最小值。对应的是全局最小值。采用采用无偏拟合误差公式无偏拟合误差公式如下：如下：采用此修正后，采用此修正后，归一化总误差能

27、量归一化总误差能量应写成下列形式：应写成下列形式：第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -18-赵晓群 教授2221()2()()()dwnkXw n xnTkT 224()()()1()nkuBnw n xnTkTTw n22422()()()11()()()()d2uBnkuBwnnw n xnTkTTw nw n xnX为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能设设窗函数窗函数 w(n)长为长为 2N+1，以以原点对称原点对称。同时同时假设假设在窗长范围内有在窗长范围内有 L 个个

28、假设基音周期假设基音周期，即：即：则上页则上页式中式中，uB的求和上下限应作相应的的求和上下限应作相应的改动改动，即得到即得到：为为粗搜索粗搜索时确定时确定初始基音周期初始基音周期 TI 所用的拟合误差所用的拟合误差时域时域表达表达。为为提高提高精度精度，T 值也可取值也可取非整数非整数，如如 20.5,21,21.5。非整数点非整数点上上的相关函数的相关函数可可插值计算插值计算：实验表明，实验表明，10 kHz 采样，基音周期采样，基音周期的的精确精确可达可达 0.04 样点样点。数数码率较低码率较低时（时（4.8 kbit/s以下以下），），精确到精确到 1/4 1/8 样样点点也就满也就

29、满足要求了，这样运算量可以减少很多。足要求了，这样运算量可以减少很多。第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -19-赵晓群 教授22422()()()1()()()NLnNkLuBNNnNnNw n xnTkTTw nw n xn()(1int)(int)(int)(int1)tttttttint(21)/LNT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能11.3.3 INMARSAT-M 改进改进 MBE 模型分析算法模型分析算法 图图11.3：INMARSAT-M 改进改进 MBE 模

30、型算法框图。模型算法框图。语音信号语音信号：8 kHz 采样采样，线性线性 PCM 编码编码，语音样值的语音样值的最大最大值值定标定标范围范围：214-1，215-1 最小值定标最小值定标范围范围：-215，-214需求出需求出改进改进 MBE 模型参数模型参数：基音角频率基音角频率、V/U判决判决，子带子带谱包络参数谱包络参数（仅考虑仅考虑幅度谱幅度谱）。第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -20-赵晓群 教授图图11.3MBE 语音分析算法方框图语音分析算法方框图高通滤波器高通滤波器低通滤波器低通滤波器基音周期基音周期初始估计初始估计清清/浊判决浊

31、判决基音周期基音周期精确估计精确估计频谱估计频谱估计语音信号语音信号()x n()Lxn()Iw n()Rwn0T,1,2,kVkK,1,2,mAmMIT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能1.高通滤波高通滤波语音语音经经数字数字高通滤波器高通滤波器，滤滤除信号中的除信号中的直流分量直流分量。高通滤波器高通滤波器的的截止频率截止频率约约 10 Hz，传递函数传递函数为为：2.低通滤波低通滤波低通滤波器低通滤波器输出的信号按下式计算输出的信号按下式计算：低通滤波器低通滤波器是是 21 阶阶 FIR 数字滤波器数字滤波器，其

32、系数值列于，其系数值列于表表11.1。第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -21-赵晓群 教授111()10.99zH zz1010()()()LLjx nx nj hj表表11.1FIR 低通滤波器低通滤波器系数系数jhL(j)jhL(j)jhL(j)00.3942014-0.0637238-0.00743010.2973545-0.0045659-0.01377520.09367160.03065910-0.0021743-0.05160270.016900为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中

33、小学图书室育人功能同济大学电子与信息工程学院 -22-赵晓群 教授图图11.4相邻语音帧与帧之间的关系相邻语音帧与帧之间的关系过去帧当前帧将来帧过去帧当前帧将来帧 3.基音估计基音估计基音估计算法基音估计算法：应应保持保持相邻语音帧相邻语音帧基音周期的某种基音周期的某种连续性连续性。基音跟踪算法基音跟踪算法：在确定当前帧的基音周期时要考虑在确定当前帧的基音周期时要考虑 相邻的相邻的过去帧过去帧和和将来帧将来帧的影响。的影响。图图11.4：当前帧当前帧和和前后帧前后帧之间的关系之间的关系。帧长帧长为为 20 ms（160 个个样点样点）。基音估计基音估计算法算法分分：初始估计初始估计、精细估计精

34、细估计两两步步进行进行。初始估计初始估计得到得到初始基音周期初始基音周期：TI，TI D=21,21.5,114，精度精度：1/2 采样周期采样周期；再再由由精细估计精细估计得出得出归归最终最终基音周期基音周期，精度精度：1/4 采样周期采样周期。两两步步法可法可降低降低计算复杂度计算复杂度和和提高鲁棒性提高鲁棒性。第11章多带激励声码器 11.3多带激励语音分析-40-2002040 60 ms T-2 T-1 T0 T1T2基音周期：基音周期：误差函数：误差函数：E-2(T)E-1(T)E0(T)E1(T)E2(T)为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大

35、会精神,充分发挥中小学图书室育人功能算法算法的的重要特点重要特点：初始估计初始估计和和精细估计精细估计使用不同长度的窗函数使用不同长度的窗函数。初始估计窗初始估计窗 wI(n)长为长为 281 个个样点样点；精细估计窗精细估计窗wR(n)长长为为 221 个个样点样点；皆皆是是对称三角形窗对称三角形窗，两窗两窗中中点点对齐对齐。相邻语音帧之间的相邻语音帧之间的重叠量重叠量是窗长的是窗长的函数函数，重叠量重叠量=窗长窗长-帧移动量帧移动量（160 个个样点样点）。wR(n)时时，重叠量重叠量 61 个个样点样点；wR(n)时时，121个个样点样点。(1)基音的基音的初始估计初始估计（步骤步骤见见

36、图图11.5）对每一个对每一个可能可能的的基音周期基音周期 TD，计算计算误差函数值误差函数值 E(T)。然后通过然后通过前向前向与与后向基音后向基音 跟跟综算法综算法，比较比较求出的值，求出的值，最终最终选择选择最佳的候选者最佳的候选者 作为作为 TI。第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -23-赵晓群 教授图图11.5初始基音周期估计初始基音周期估计后向后向基音跟踪基音跟踪前向前向基音跟踪基音跟踪比较基音比较基音估计值估计值计算计算误差函数误差函数()()LIxn wn()E TBTFTIT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神

37、,贯彻全国教育大会精神,充分发挥中小学图书室育人功能 计算计算误差函数误差函数根据根据归一化总误差能量归一化总误差能量定义定义，误差函数误差函数 E(T)定义定义为：为：式中式中wI(n)归一化三角形窗归一化三角形窗函数函数，满足满足 。当当 t 为为整数整数值值时，时，自相关函数自相关函数(t)定义定义为为：当当 t 为为非整数非整数值值时时，用用线性内插线性内插公式公式计算计算(t)。基音基音周周期的期的初始估计初始估计 TI 为：为：采用基音跟踪算法采用基音跟踪算法，保证保证基音周期基音周期 TI 的的连续性连续性。第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程

38、学院 -24-赵晓群 教授int(140/)14022140int(140/)140140224140140()()()()()()1()TLIjnTLIIjjxj wjTnTE Txj wjTwj14022140()()()()()LILIjtxj wj xjt wjt1402140()1Ijwjmin()ITTE T为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能 后向基音跟踪后向基音跟踪E-1(T-1)、E-2(T-2)过去两帧对应的过去两帧对应的误差函数值误差函数值；因因基音周期的基音周期的连续性连续性，当前帧的基音周期，当

39、前帧的基音周期 T 应在应在 T-1 附近，附近，应应满足约束条件满足约束条件：在在上式上式范围内逐个范围内逐个选取选取 T，并并计算计算相应的相应的 E(T)，使使 E(T)最小最小的的 T 就是后就是后向向估计估计 TB，计算计算后向累计误差后向累计误差 CE(TB)：CE(TB)是是后向基音估计后向基音估计的的置信度测度置信度测度。第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -25-赵晓群 教授110.81.2;TTTTD1122()()()()BBBCE TE TETET为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,

40、充分发挥中小学图书室育人功能 前向基音跟踪前向基音跟踪E1(T1)、E2(T2)将来将来两帧对应的两帧对应的误差函数值误差函数值；将来两帧的基音周期将来两帧的基音周期尚未确定尚未确定，前向基音跟踪算法必须首先设法确定这些基音周期值前向基音跟踪算法必须首先设法确定这些基音周期值。在集合在集合 D 内选定一个内选定一个 T0，按下面的，按下面的约束条件约束条件选取选取T1、T2：使使E1(T1)+E2(T2)最小最小的的T1、T2表示为表示为 ，并按下式并按下式计算计算前向累计误差函数前向累计误差函数 CEF(T0)为：为：重复上述过程重复上述过程，在规定的范围内逐个，在规定的范围内逐个选定选定

41、T0，计算计算相应的相应的CEF(T0)，使其使其最小最小的的 T0 定义定义为为 。第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -26-赵晓群 教授010121120.81.2,0.81.2;,TTTTTTT TD001122()()()()FCETE TE TE T12,T T0T为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能为防止为防止倍基音周期倍基音周期，考虑考虑 取取 的可能性的可能性。要要求求 ，选择选择一个与其一个与其最接近最接近的值代替。的值代替。再再检查检查是否是否满足满足下列下

42、列三个条件三个条件之之一、一、且为且为最小值最小值的的 ，若有，则若有，则前向基音前向基音估计估计 ；否否则则 。完成完成前前、后向基音跟踪后向基音跟踪，并，并求得求得估计估计值值后，后，按下列按下列判决规则判决规则确定确定初始基音估计初始基音估计 TI：If CEb(TB)0.48 then TI=TB else if CEb(TB)CEF(TF)then TI=TB else TI=TF 最终的最终的基音估计的基音估计的精精度度提高到提高到 1/4 采样周期采样周期。第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -27-赵晓群 教授0000000(/)0.8

43、5(/)1.7()(/)0.4(/)3.5()(/)0.05 FFFFFFFCETnCETnCETCETnCETnCETCETn和和00/,(2,3,4,5)TTn n 0/TnD0/Tn0/FTTn0FTT为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能(2)基音的基音的精细精细估计估计图图11.6：基音精细估计基音精细估计的方框图。的方框图。精细估计窗精细估计窗 wR(n)：长长 221 个个样点样点，归一化归一化三角形窗三角形窗。由由基音初始估计基音初始估计 TI，产生，产生 10 个个基音精细估计基音精细估计的的候选值候选值

44、：将其将其转换转换为相应的为相应的基音频率基音频率 0=2/T0。然后在这然后在这 10 个点上个点上进行进行细搜索细搜索，确定确定基音周期的基音周期的精细估计精细估计。第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -28-赵晓群 教授图图11.6基音的精细估计基音的精细估计计算计算Am(0)计算计算Xwr(l,0)计算计算(0)256点点DFT16384点点DFT产生产生10个个0 候选值候选值min(0)0()mA0(,)wrXl00()()RwnIT()()Rx n wn()wXl00()09/8,7/8,.,7/8,9/8,IIIITTTTT为深入学习习

45、近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能 计算计算窗窗选选语音语音和和窗函数窗函数的的离散离散 Fourier 变换变换。对对窗窗选选语音信号语音信号，计算计算 256 点点 DFT：对对窗函数窗函数,计算计算 16384 点点 DFT：（扩大点数，可保证精度)对每一个假设的对每一个假设的 0，求求各谐波的各谐波的最佳谱包络值最佳谱包络值 Am(0)。选定选定 0，则则在在-之间有个之间有个 2/0 谐波谐波分量，分量，两个两个相邻谐波相邻谐波之间含有之间含有 2560/2 个个语音信号语音信号的的 DFT 点。点。对于对于第第 m 次

46、谐波次谐波，它的，它的频带下限频带下限、上限上限为：为：其中其中，INT x 表示取表示取大于大于或或等于等于 x 的的最小整数最小整数。第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -29-赵晓群 教授1102/256110()()();128127jenlwRnXlx n w nl 1102/16384110()();81928191jenlRRnW lw nl 00256(0.5)256(0.5)INT,INT122mmmmab为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能根据式根据式：因因窗

47、窗选选激励激励 Pw()在频带内与在频带内与窗窗函数函数主瓣主瓣包络包络形状相同，形状相同，故用故用 WR()代替代替 Pw()。这意味着语音这意味着语音改变改变一个样点，窗一个样点，窗改变改变 64 个样点。个样点。因此，因此，最佳用下式最佳用下式计算计算：计算计算合成语音谱合成语音谱。按下式按下式计算计算：第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -30-赵晓群 教授002016384()int(640.5)2()16384int(640.5)2mmmmbwRl ambRl amXl WlAmWl00016384(,)()int(640.5),0,1,2

48、wrmRmmmXlAWlalbm 2()()()()()ddmmmmbbmwwwaaAGXPGP 为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能 计算计算加权总拟合误差加权总拟合误差，选择选择最佳最佳 0（或或 T0）。）。采用采用 DFT 的的总拟合误差总拟合误差为：为：在细搜索中，主要在细搜索中，主要考虑考虑高次谐波高次谐波频带拟合的情况，因此频带拟合的情况，因此，加权函数在加权函数在低频端低频端可以取可以取 0，求和下限求和下限不从不从 1 开始开始；高频端高频端可以取可以取 1，求和上限求和上限也不必达到也不必达到 127

49、。语音语音频谱频谱一般一般限制限制在在 2003600 Hz范围内。范围内。故故按按下下列公式列公式确定确定求和上限求和上限 q：总拟合误差总拟合误差可以可以改写成改写成：对对 10 个个候选基音频率候选基音频率，逐个，逐个计算计算出出总拟合误差总拟合误差，使使其其最最小小的的 0 是当前帧是当前帧基音周期基音周期的的精细估计值精细估计值。第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -31-赵晓群 教授1272001()()()(,)wwrlG l XlXl 002560.96intint(0.5)2q20050()()(,)qwwrlXlXl 利用利用偶对称

50、性偶对称性，只只计算计算了了一半一半的值的值为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能4.V/U 判决判决图图11.7：V/U 判决判决的方框图。的方框图。利用每个谐波处利用每个谐波处合合成成谱谱与与窗选窗选语音谱语音谱拟合的程度来拟合的程度来确定确定。若若归一化拟合误差归一化拟合误差 阈阈值值，判判定定该谐波该谐波频频带为带为浊音带浊音带；反之为反之为清音带清音带。采用采用 DFT 时，时，前面推导的前面推导的归一化误差应归一化误差应改写改写成成：也可也可将几个将几个相相邻邻谐波谐波频带频带合并合并成一个成一个频带频带，根据

51、该根据该频频带带总拟合误差总拟合误差作出该带的作出该带的 V/U 判决。判决。第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -32-赵晓群 教授220()(,)()mmmmbbmwwrwl al aXlXlXl图图11.7清清/浊判决方框图浊判决方框图计算拟合误差计算拟合误差计算计算E0更新更新Eavg,Emin,Emax计算阈值计算阈值与阈值比较与阈值比较()wXl0kD,1,2,kVkK0(,)k0为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能实用实用 V/U 判决判决方案：方案：最最多分多分

52、12 个带，个带，判决方法判决方法如下：如下：确定确定谐波谐波的个数的个数 M。计算式：计算式：确定确定子带子带的个数的个数 K。每个每个子带子带包含包含 3 个个谐波分量谐波分量（见（见图图11.8）。）。子带数子带数的的计算式：计算式：第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -33-赵晓群 教授000int0.96int(0.25/);0.25/40int0.77int(0.25/)7.41;M 其它2int;36312;MMK其它图图11.8改进的改进的 MBE 频带结构频带结构子带子带 1 子带子带 2 子带子带 K-1 子带子带 K00000 2

53、 3 4 00(1)MM1234 AAAA1 MMAA(36,323)MkMk幅 度为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能 计算计算各带的各带的归一化拟合误差归一化拟合误差。计算式：计算式：第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -34-赵晓群 教授332332323220220INT2INT()(,)1,2,1()()(,)()kkkkMkMkbwwrl akbwl abwwrlaKbwlaXlXlDkKXlXlXlDXl为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯

54、彻全国教育大会精神,充分发挥中小学图书室育人功能 计算计算 V/U 的的判决判决阈阈值值。计算式：计算式：第一项第一项：随随 0 增大增大而而变大变大。当当 0 增加时谐波个数将减少，增加时谐波个数将减少，拟合误差拟合误差会变大会变大，此项起到此项起到去去偏偏作用。作用。第二项第二项：随随 0 升高升高而而变小变小。由于由于话音高频端通常更具有随机谱的特征，话音高频端通常更具有随机谱的特征，因此，较多地因此，较多地判判为为清清音区音区会使合成语音听起来自然会使合成语音听起来自然。第三项第三项：是同语音是同语音当前帧能量当前帧能量 E0、平均能量平均能量 Eavg、最小能量最小能量 Emin、最

55、大能最大能量量 Emax 有关的参数。有关的参数。采用采用自适应自适应方法，方法，逐帧逐帧更新更新这些这些参数参数，以期获得更好的效果。，以期获得更好的效果。第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -35-赵晓群 教授00(0)(0)(0)00(,)(0.350.557)1 0.4775(1)(,)avgminmax kkF E EEE为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能若用若用 E(0)表示表示当前帧当前帧的参数的参数，E(-1)表示表示前一帧前一帧的参数，的参数，相关相关量的量的

56、定义为定义为：且且满足的满足的约束条件约束条件：第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -36-赵晓群 教授20000(0)(1)avgavg0(1)(1)min00min(0)(1)(1)(1)minmin0min0min(1)min(1)(0)maxmax2560.96();int int0.520.70.30.50.5;0.9750.025;21.025;0.5qwlEXlqEEEEEEEEEEEEEEEE其它(1)00max(1)max00.5;0.990.01;EEEEE其它(0)(0)(0)(0)200;20020000;20000minmin

57、maxmaxEEEE为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能求出上述几个能量之后，再求出上述几个能量之后，再确定确定函数函数：V/U 判决判决。判决判决规则规则为：为：第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -37-赵晓群 教授(0)(0)(0)0(0)(0)(0)(0)(0)(0)00(0)(0)00(,)0.5;2002;2000.00750.00751;avgminmaxavgminmaxavgminmaxmaxmaxF E EEEEEEEEEEEEEEE且其它00(,),1,(,

58、),0,kkkkDkVDkV判音音判清音为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能5.求求各各谐波幅度谐波幅度或或包络包络图图11.9：频谱幅度频谱幅度估计框图估计框图。改进改进 MBE 语音编码器，每个语音编码器，每个分频带分频带包含包含 3 个个谐波谐波。谐波谐波结构见结构见图图11.8。对于第对于第 k 个个频带频带，其，其频带范围频带范围为为 a3k-2 b3k，需需要要确定确定 3 个个频谱幅度频谱幅度 A3k-2、A3k-1、A3k。第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -3

59、8-赵晓群 教授图图11.9频谱幅度估计频谱幅度估计计算清音幅度计算清音幅度计算浊音幅度计算浊音幅度选择清音选择清音/浊音谱幅度浊音谱幅度mA,1,2,kVkK1,2,mM0mA图图11.8改进的改进的 MBE 频带结构频带结构子带子带 1 子带子带 2 子带子带 K-1 子带子带 K00000 2 3 4 00(1)MM1234 AAAA1 MMAA(36,323)MkMk幅 度为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能浊音带浊音带时时，按下式按下式计算计算：如果如果数数码率足够高，也可以码率足够高，也可以直接传送直接传送

60、Am(0)。清音带清音带时时，Am 按下式按下式计算计算：对于对于最高分频带最高分频带 K，其其频带范围频带范围是是 a3k-2bM，包含包含 M-3k+3 个个谱幅度谱幅度。令令直流分量直流分量 A0=0。第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -39-赵晓群 教授00(),()mmmAAA002016384()int(640.5)2()16384int(640.5)2(32,31,3;1,2,1)mmmmbwRl ambRl amXl WlAmWlmkkkkK1/2211011011()()(32,31,3;1,2,1)mmbmwl ammRnAXlb

61、awnmkkk kK为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能改进改进 MBE 模型的全部参数模型的全部参数为：为：基音周期基音周期 T0，各带的各带的 V/U 判决判决 Vk,(k=1,2,K)，各谐波处各谐波处的的最佳幅度最佳幅度 Am,(m=1,2,M)。参数参数传送给解码器前，需传送给解码器前，需量化量化、编码编码。INMARSAT-M 语音编码器的语音编码器的比特率比特率为为 6.4 kbit/s，帧长帧长 20 ms，每帧每帧 128 bit，其中其中 45 bit 留给留给信道编码信道编码用，余用，余 83 bi

62、t 供量化供量化模型参数模型参数用用。表表11.2：比特分配比特分配表表。（参数量化的方法从略）第11章多带激励声码器 11.3多带激励语音分析 同济大学电子与信息工程学院 -40-赵晓群 教授表表11.2模型参数比特分配模型参数比特分配参数参数基音周期基音周期V/U 判决判决频谱幅度频谱幅度每帧比特数每帧比特数8K75-K为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能第第1111章多带激励声码器章多带激励声码器11.4多带激励语音合成两种两种合成方法合成方法：频域合成法频域合成法、时域合成法时域合成法。频域合成法频域合成法：重建

63、重建语音谱语音谱，求求 Fourier 反变换反变换得得时域序列时域序列。相当于分析过程相当于分析过程的的逆过程逆过程。特点：特点：比较直接，但不能保证合成语音比较直接，但不能保证合成语音基音周期基音周期的的平滑变化平滑变化。时域合成法时域合成法：利用利用插值插值实现实现帧间基音周期帧间基音周期的的平滑过渡平滑过渡，可使可使合成语音更自然。合成语音更自然。因因此此，实际的实际的 MBE 算法都采用这种方法。算法都采用这种方法。下面下面介绍介绍时域合成法时域合成法。图图11.10：改进改进 MBE 语音合成语音合成框图框图。浊音成分浊音成分与与清音成分清音成分分开合成，分开合成，再再相加形成相加

64、形成完整的完整的合成语音合成语音。第11章多带激励声码器 11.4多带激励语音合成 同济大学电子与信息工程学院 -41-赵晓群 教授图图11.10改进改进 MBE 语音合成方框图语音合成方框图清音合成清音合成浊音合成浊音合成()rx n合成语音合成语音()Vx n()Uxn,1kVkK,1mAmM0为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能11.4.1清音成分的合成清音成分的合成清音成分清音成分的合成用的合成用白噪声激励白噪声激励。初始值初始值为为 u(-105)=3147。按下式产生一个。按下式产生一个白噪声序列白噪声序列

65、u(n)：对相继的对相继的合成语音合成语音帧，帧，u(n)移动移动 20 ms（160 样点样点），），对对 u(n)加窗，加窗，合成窗合成窗 wx(n)长长：209 样点样点。因此，在相继合成语音帧之间，因此，在相继合成语音帧之间，噪声序列噪声序列重叠重叠 49 样点样点。对加窗后的对加窗后的 u(n)进行进行 256 点的点的 DFT，得得：第11章多带激励声码器 11.4多带激励语音合成 同济大学电子与信息工程学院 -42-赵晓群 教授171()11213(1)171()1121353125int53125u nu nu n1042/256104()()();128127jenlwxnU

66、lu n w nl 为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能再再根据根据谐波频带谐波频带 m 是是浊音浊音区区（Vk=1）或）或清音清音区区（Vk=0），），再对再对 Uw(l)进行进行修正修正得得Uwc(l)：式中式中，am,bm 定义定义见前面；见前面；Am(0)当前帧当前帧的的 Am 值。值。m 伸缩系数伸缩系数，是是合成窗合成窗 wx(n)与与 基音精细估计窗基音精细估计窗 wR(n)的函数，的函数，修正效果相当于用一组修正效果相当于用一组带通滤波器滤带通滤波器滤除浊音带的信号。除浊音带的信号。第11章多带激励声码器 11.4多带激励语音合成 同济大学电子与信息工程学院 -43-赵晓群 教授mmmmbakwwmmmmwcblamabkUlUAblamlUmm，02120频带为清音频带频带为浊音频带;)()(;)(/)(1/210411011022104110110()()()wxRRnnnwnwnwn为深入学习习近平新时代中国特色社会主义思想和党的十九大精神,贯彻全国教育大会精神,充分发挥中小学图书室育人功能