语音信号的频域分析课件

《语音信号的频域分析课件》由会员分享，可在线阅读，更多相关《语音信号的频域分析课件（36页珍藏版）》请在装配图网上搜索。

1、5.2基于滤波器组的频域分析 5.1概述5.4STFT 的实现5.3短时 Fourier 变换(STFT)的定义和性质5.5短时 Fourier 谱的取样5.6语音的短时合成技术5.7基于 FFT 的短时 Fourier 分析5.8频域基音检测5.9语音信号的时-频表示（略）第第5 5章语音信号的频域分析章语音信号的频域分析5.1概述 语音语音感知感知与与语谱语谱特性关系密切，人对语谱特性更特性关系密切，人对语谱特性更敏感敏感。幅频谱特性相似的幅频谱特性相似的两段语音，两段语音，感知相似感知相似。语谱具有语谱具有语言声学语言声学意义，反应了重要的意义，反应了重要的语音特征语音特征；如如共振峰频

2、率共振峰频率、带宽带宽等。等。进行语音进行语音频谱分析频谱分析是是认识认识和和处理处理语音信号的语音信号的重要方法重要方法。Fourier 分析分析是有效手段，是语音的是有效手段，是语音的重要分析工具重要分析工具。语音是语音是非平稳非平稳信号，源于信号，源于发声器官发声器官的的物理运动物理运动过程。过程。在在短时间短时间段（如段（如10 30 ms）内可认为是）内可认为是平稳平稳的；的；用用时间依赖处理方法时间依赖处理方法分析处理。分析处理。第5章语音信号的频域分析 5.1概述同济大学电子与信息工程学院 -2-赵晓群 教授短时短时 Fourier 分析分析（时间依赖时间依赖 Fourier 变

3、换变换）：）：用用稳态分析稳态分析处理处理非平稳信号非平稳信号的一种方法的一种方法语音的语音的频域分析频域分析：包括语音信号的：包括语音信号的频谱频谱、功率谱功率谱、倒频谱、倒频谱、频谱包络频谱包络等，等，常用常用频域分析频域分析方法：方法：带通滤波器组法带通滤波器组法、Fourier 变换法变换法、同态分析同态分析、线性预测法线性预测法等。等。本章：本章：带通滤波器组法带通滤波器组法、Fourier 变换法变换法、频域基音检测频域基音检测、时时-频表示频表示同济大学电子与信息工程学院 -3-赵晓群 教授第5章语音信号的频域分析 5.1概述第第5 5章语音信号的频域分析章语音信号的频域分析5.

4、2基于滤波器组的频域分析 最早的频谱分析：最早的频谱分析：滤波器组滤波器组来实现。来实现。特点：特点：简单简单、实时性实时性好、受好、受外界影响小外界影响小。常用常用模拟滤波器模拟滤波器实现，也可用实现，也可用数字滤波器数字滤波器实现。实现。宽带带通滤波器：宽带带通滤波器：平坦特性，可粗略求取语音频谱，分辨率平坦特性，可粗略求取语音频谱，分辨率较低较低，相当于短时处理时，相当于短时处理时窄窗窄窗情况。情况。窄带带通滤波器：窄带带通滤波器：频率分辨率频率分辨率较高较高，相当于短时处理时相当于短时处理时宽窗宽窗较宽的情况。较宽的情况。图图5.1：滤波器组法滤波器组法频谱分析原理图。频谱分析原理图。

5、图图5.1滤波器组法频率分析原理图滤波器组法频率分析原理图f1f2fn x1(t)x(t)x2(t)xn(t)同济大学电子与信息工程学院 -4-赵晓群 教授第5章语音信号的频域分析 5.2基于滤波器组的频域分析第第5 5章语音信号的频域分析章语音信号的频域分析5.3短时 Fourier 变换(STFT)的定义和性质 STFT 的定义的定义语音序列是语音序列是时变的时变的。分段方法：分段方法：加一个沿时间轴滑动的加一个沿时间轴滑动的窗函数窗函数；通常窗的通常窗的宽度有限宽度有限；对应于对应于不同的不同的 n 值值，窗处于，窗处于不同位置不同位置；窗函数对窗函数对语音信号语音信号的每个样本进行的每

6、个样本进行加权加权。图图5.2：移动移动窗函数窗函数选取语音段的示意图选取语音段的示意图 图中使用的是图中使用的是非矩形窗非矩形窗，时刻时刻 n 位于位于窗的中心窗的中心 同济大学电子与信息工程学院 -5-赵晓群 教授图图5.2用移动窗选取语音段示意图用移动窗选取语音段示意图()xm()wn mnm第5章语音信号的频域分析 5.3短时 Fourier 变换(STFT)的定义和性质 x(m)的的短时短时 Fourier 变换变换（STFT）Xn(ej)的定义：的定义：式中，式中，w(n)是是窗函数窗函数。为位于为位于 n 处的窗口观察到的处的窗口观察到的窗选语音短段窗选语音短段的的 Fourie

7、r 变换；变换；n 取取不同值不同值时，取出时，取出不同的不同的语音短段；语音短段；Xn(ej)是是频率频率 和和时间时间 n 的函数；有的函数；有时时-频性频性。要求：要求：STFT 存在存在，则对所有，则对所有 n 值值，一定，一定绝对可和绝对可和。因因窗宽有限窗宽有限，或无限冲激响应窗函数，其，或无限冲激响应窗函数，其有效宽度有限有效宽度有限，故故满足满足绝对可和。绝对可和。同济大学电子与信息工程学院 -6-赵晓群 教授第5章语音信号的频域分析 5.3短时 Fourier 变换(STFT)的定义和性质 j-j(e)()()emnmXx m w nm根据根据 STFT，恢复恢复原语音信号原

8、语音信号 x(m)的的方法方法：式式 的的逆变换逆变换为：为：若若w(0)0，由上式得：，由上式得：准确地恢复原信号的准确地恢复原信号的唯一约束条件唯一约束条件是是 w(0)0。同济大学电子与信息工程学院 -7-赵晓群 教授第5章语音信号的频域分析 5.3短时 Fourier 变换(STFT)的定义和性质 j-j(e)()()emnmXx m w nmjj1()()(e)ed2mnx m w nmXjj1()(e)ed2(0)nnx nXw由由STFT的谱的谱 Xn(ej)求解求解 x(m)的的 Fourier 变换变换 X(ej)方法方法。假设假设 x(m)和和 w(m)的的 Fourier

9、 变换都存在变换都存在，即：，即：因因 Xn(ej)是是 x(m)w(n-m)的的 Fourier 变换，变换，则则 Xn(ej)是是 X(ej)与与 ejnW(e-j)的的卷积卷积，即，即 为使为使 Xn(ej)准确代替准确代替 X(ej)，移动窗的，移动窗的 W(ej)应是应是冲激函数冲激函数；即要求移动即要求移动窗无限宽窗无限宽。同济大学电子与信息工程学院 -8-赵晓群 教授第5章语音信号的频域分析 5.3短时 Fourier 变换(STFT)的定义和性质 j-jj-j(e)()e,(e)()emmmmXx mWw mjj-jj()-jjj()1(e)e(e)(e)d21e(e)(e)d

10、2nnnXWXWX 注意：注意：由于语音是由于语音是时变时变的，故其的，故其 Fourier 变换可能变换可能不存在不存在。通常，通常，窗函数是窗函数是有限时宽有限时宽，故，故窗选语音段窗选语音段可看成从无限长的基本性可看成从无限长的基本性质延续不变的质延续不变的平稳信号平稳信号中截取出来的；中截取出来的；对于对于爆破音爆破音等暂态音，则可看成在等暂态音，则可看成在窗外窗外取值为取值为零零。若把若把X(ej)看成是看成是基本性质基本性质在窗外在窗外延续不变延续不变或窗外或窗外取值为零取值为零的的某个平稳信号的某个平稳信号的 Fourier 变换，则式变换，则式 就是就是有意义有意义的。的。观点

11、：观点：STFT 是是平稳信号平稳信号的的 Fourier 变换经变换经加窗平滑加窗平滑的结果。的结果。同济大学电子与信息工程学院 -9-赵晓群 教授第5章语音信号的频域分析 5.3短时 Fourier 变换(STFT)的定义和性质 jj-jj()-jjj()1(e)e(e)(e)d21e(e)(e)d2nnnXWXWX 窗函数及窗宽对窗函数及窗宽对STFT的影响的影响图图5.3a：元音元音 i 的的波形波形和和短时频谱图短时频谱图。元音元音 i 的的基音周期基音周期大约是大约是 13 ms；短时频谱图有短时频谱图有两种两种变化：变化：快变化：快变化：周期性周期性激励引起，激励引起，基音频率的

12、各次基音频率的各次谐波谐波；慢变化：慢变化：声道共振声道共振特性引起，特性引起，各各共振峰共振峰的的频率频率和和带宽带宽。两个频谱图间的两个频谱图间的差别差别：矩形窗矩形窗时：谐波各峰时：谐波各峰较尖锐较尖锐，谱图谱图较破碎较破碎（类似于噪声），（类似于噪声），主瓣较窄主瓣较窄（较高频率分辨率）；（较高频率分辨率）；旁瓣较高旁瓣较高，“泄漏泄漏”严重；严重；Hamming 窗窗时：短时频谱时：短时频谱平滑些平滑些。短时谱分析，短时谱分析，Hamming 窗较普遍窗较普遍。同济大学电子与信息工程学院 -10-赵晓群 教授第5章语音信号的频域分析 5.3短时 Fourier 变换(STFT)的定义

13、和性质 图图5.3a元音元音i的波形和短时频谱图的波形和短时频谱图(10 kHz取样取样，窗长窗长256)原始语音窗选语音加矩形窗时语音谱Hamming加窗时语音谱分析窗宽对短时频谱的影响：分析窗宽对短时频谱的影响：图图5.4(a)：元音元音 i 的的波形波形和和短时频谱图短时频谱图。窗宽窗宽 6.4 ms，元音元音 i 的的基音周期基音周期大约是大约是 13 ms；窗选语音段窗选语音段长长不到不到一个基音周期，一个基音周期，丢失了丢失了基音周期的信息；基音周期的信息；频的频的快变化快变化（谐波频率）（谐波频率）消失消失。频的频的慢变化慢变化（较宽的峰）（较宽的峰）保留保留，是声道的是声道的共

14、振特性共振特性。矩形窗比矩形窗比 Hamming 时，时，呈现较多的细致结构，呈现较多的细致结构，由于矩形窗比由于矩形窗比 Hamming 窗窗 具有更高的频率分辨率。具有更高的频率分辨率。同济大学电子与信息工程学院 -11-赵晓群 教授第5章语音信号的频域分析 5.3短时 Fourier 变换(STFT)的定义和性质 图图5.4a元音元音i的波形和短时频谱图的波形和短时频谱图(10 kHz取样取样，窗长64)原始语音窗选语音加矩形窗时语音谱Hamming加窗时语音谱图图5.3，5.4(b)：清辅音清辅音 j 短时频谱图短时频谱图。图图5.3(b)：窗窗较长较长，频率，频率分辨率高分辨率高，许

15、多，许多快变化快变化，反映了反映了激励源激励源的的白噪声特性白噪声特性随机起伏。随机起伏。矩形窗矩形窗时，快变化尤为时，快变化尤为突出突出。仍然看出仍然看出声道声道滤波器的滤波器的共振特性共振特性。同济大学电子与信息工程学院 -12-赵晓群 教授第5章语音信号的频域分析 5.3短时 Fourier 变换(STFT)的定义和性质 图图5.3b清音清音j的波形和短时频谱图的波形和短时频谱图(10 kHz取样取样，窗长窗长256)原始语音窗选语音加矩形窗时语音谱Hamming加窗时语音谱图图5.4b清音清音j的波形和短时频谱图的波形和短时频谱图(10 kHz取样取样，窗长窗长64)原始语音窗选语音加

16、矩形窗时语音谱Hamming加窗时语音谱 结论结论长窗长窗具有具有较高较高的的频率分辨率频率分辨率，较低较低的的时间分辨率时间分辨率；短窗短窗具有具有较低较低的的频率分辨率频率分辨率，较高较高的的时间分辨率时间分辨率；窗宽的选择需窗宽的选择需折衷折衷考虑；考虑；语音的基音周期值语音的基音周期值范围很大范围很大，窗宽选择，窗宽选择应考虑应考虑该因素。该因素。矩形窗和矩形窗和 Hamming 窗的频谱特性都具有窗的频谱特性都具有低通的性质低通的性质。截止频率处都较尖锐，截止频率处都较尖锐，当通带较窄时（窗较宽），频谱能很好逼近短时语音谱。窗当通带较窄时（窗较宽），频谱能很好逼近短时语音谱。窗越宽逼

17、近效果越好。越宽逼近效果越好。同济大学电子与信息工程学院 -13-赵晓群 教授第5章语音信号的频域分析 5.3短时 Fourier 变换(STFT)的定义和性质 第第5 5章语音信号的频域分析章语音信号的频域分析5.4STFT的实现 STFT的定义：的定义：将窗函数的将窗函数的位置参数位置参数 n 看成是看成是参变量参变量，给定给定 n，是，是连续变量连续变量 的函数，为语音段的的函数，为语音段的标准标准Fourier 变换变换 从从不同角度不同角度来解释来解释 STFT，可得，可得不同不同的实现方法。的实现方法。线性滤波的角度：线性滤波的角度：为为参变量参变量，给定，给定 时，是时，是 n

18、的的函数函数。重写定义式：重写定义式：表明：表明：卷积卷积实现，实现，w(n)与与 x(n)e-jn，序列序列 x(n)e-jn 通过通过冲激响应冲激响应为为 w(n)的的线性滤波器线性滤波器的输出的输出 此时，此时，看成是看成是固定值固定值。图图5.5：STFT 的的线性滤波线性滤波实现实现同济大学电子与信息工程学院 -14-赵晓群 教授第5章语音信号的频域分析 5.4STFT 的实现j-j(e)()()emnmXx m w nmj-j(e)()()emnmXw nm x m图图5.5STFT的线性滤波实现的线性滤波实现w(n)x(n)e-jnXn(ejn)图图5.5：STFT 的的线性滤波

19、线性滤波实现实现图图5.6：图图5.5方案的方案的实数运算实数运算 图图5.6方案原理方案原理：设设：则可计算：则可计算：同济大学电子与信息工程学院 -15-赵晓群 教授第5章语音信号的频域分析 5.4STFT 的实现j(e)()j()nnnXab图图5.5STFT的线性滤波实现的线性滤波实现w(n)x(n)e-jnXn(ej)图图5.6STFT分析用线性滤波实现分析用线性滤波实现 cosn an()x(n)bn()sinnw(n)w(n)()()cos()()()()sin()()nmnmax mm w nmbx mm w nm令令 ，代入式，代入式 将将 用用 m 表示，得：表示，得：上式

20、可用上式可用图图5.7方案实现；方案实现；图图5.8：图图5.7方案的方案的实数运算实数运算(推导略)同济大学电子与信息工程学院 -16-赵晓群 教授第5章语音信号的频域分析 5.4STFT 的实现mnm图图5.7STFT分析线性滤器的另一种形式分析线性滤器的另一种形式 w(n)ejnx(n)e-jnXn(ej)图图5.8用实数实现图用实数实现图5.7的方框图的方框图j-jj(e)e()()enmnmXx nm w mj-j(e)()()emnmXw nm x mm x(n)sinnw(n)sinnw(n)cosn cosncosn an()bn()可推得：可推得：需要计算需要计算Xn(ej)

21、时，用图时，用图5.8实现简单；实现简单；需要计算需要计算 an()、bn()时，用图时，用图5.6实现较简单。实现较简单。线性滤波实现线性滤波实现 STFT 的的主要优点主要优点：利用了利用了成熟成熟的线性滤波器的的线性滤波器的成果成果，实现方法，实现方法非常简单非常简单。线性滤波分线性滤波分有限冲激响应有限冲激响应的和的和无限冲激响应无限冲激响应的、的、因果因果的和的和非非因果因果的线性滤波方法，的线性滤波方法，相应地，相应地，STFT 或时变频谱分析也可分成或时变频谱分析也可分成有限窗宽有限窗宽和和无限窗无限窗宽宽、因果窗因果窗和和非因果窗非因果窗等类型。等类型。同济大学电子与信息工程学

22、院 -17-赵晓群 教授第5章语音信号的频域分析 5.4STFT 的实现j2222(e)()()()()nnnnnXabab第第5 5章语音信号的频域分析章语音信号的频域分析5.5短时 Fourier 谱的取样STFT 谱：谱：一维时变一维时变信号的信号的二维时二维时-频频表示，表示，n 和和 的的函数函数。采样定理：采样定理：以以不低于不低于其最高频率其最高频率两倍两倍的的取样频率取样频率取样，取样，由样本由样本准确恢复准确恢复出出原始信号原始信号。STFT 的的取样：取样：是一个更复杂的问题。是一个更复杂的问题。在在时时-频变量频变量 n 和和 上上同时同时进行，并保证不产生进行，并保证不

23、产生混叠失真混叠失真。同济大学电子与信息工程学院 -18-赵晓群 教授第5章语音信号的频域分析 5.5短时 Fourier 谱的取样 时域取样时域取样 STFT线性滤波实现线性滤波实现：图图5.5示。示。w(n)：窄带低通滤波器窄带低通滤波器，带宽带宽为为 B。则：则：Xn(ej)的的带宽带宽也为也为 B。在时域内，在时域内，以以 2B 速率速率对对 Xn(ej)取样取样，不产生不产生混叠失真。混叠失真。Hamming 窗时：窗时：w(n)的带宽的带宽 B=2fs/N，(fs 取样频率，取样频率，N 窗宽窗宽)时域内的取样频率时域内的取样频率 2B=4fs/N。例：例：设设 N=100，fs=

24、10 kHz，则取样频率，则取样频率400 Hz，语音信号语音信号每输入每输入 25 个样本个样本计算计算一次一次短时谱即可。短时谱即可。多数实际窗函数，多数实际窗函数，频带宽度频带宽度 B 与与 fs/N 成正比例，即：成正比例，即：式中，式中，k 为为比例常数比例常数。Hamming 窗窗 k=2，矩形窗，矩形窗 k=1。在时域内，在时域内，Xn(ej)的的取样频率取样频率为：为：同济大学电子与信息工程学院 -19-赵晓群 教授第5章语音信号的频域分析 5.5短时 Fourier 谱的取样sfBkN2stfRkN图图5.5STFT的线性滤波实现的线性滤波实现w(n)x(n)e-jnXn(e

25、j)频域取样频域取样 Xn(ej)：角频率角频率 的的周期函数周期函数，周期周期 2。在在 2 范围范围内内讨论讨论频域取样频域取样问题问题。02 内内均匀取样均匀取样 L 点，点，取样角频率取样角频率k=2k/L，k=0,1,L-1讨论讨论 L 取值：取值：设设w(n)的的窗宽窗宽为为 N。由于由于 Xn(ej)是是 x(m)w(n-m)的的 Fourier 变换，变换，则其则其 Fourier 逆变换逆变换的的宽度宽度也应当为也应当为 N（有限时宽有限时宽）。）。频域内，在频域内，在 L 个角频率点上对个角频率点上对 Xn(ej)取样取样，根据样本，根据样本恢复恢复的信的信号应该是号应该是

26、 x(m)w(n-m)的的周期延拓周期延拓（周期（周期 2k/k=L）。使恢复的时域信号使恢复的时域信号不产生不产生混叠混叠失真失真，要求要求：即：即：在在 02 范围内，频域取样范围内，频域取样至少有至少有 N 点点。例：例：若窗宽若窗宽 N=100，在频域中，在频域中 Xn(ej)的取样的取样100点。点。同济大学电子与信息工程学院 -20-赵晓群 教授第5章语音信号的频域分析 5.5短时 Fourier 谱的取样LN 时域和频域的总取样时域和频域的总取样 因为：因为：时域取样率：时域取样率：频域取样率：频域取样率：则：则：时频域总取样率：时频域总取样率：k 值由值由窗函数窗函数确定，确定

27、，2k 值称为值称为“过取样比过取样比”。STFT：用用数倍于数倍于信号波形取样率的速率取样，信号波形取样率的速率取样，其代价有时是很值得的。其代价有时是很值得的。同时在同时在时、频域时、频域取样时，两个域的取样率可以取样时，两个域的取样率可以相互调剂相互调剂，提供了提供了灵活性。灵活性。欠取样：欠取样：可用可用低于低于 2kfs 的的取样率取样率，虽，虽发生混叠发生混叠失真，但仍有方失真，但仍有方法法准确恢复准确恢复出出原语音信号原语音信号（见节）（见节）。如：如：谱估计谱估计、基音基音和和共振峰分析共振峰分析、数字谱图数字谱图以及以及声码器声码器等等 应用中。应用中。同济大学电子与信息工程

28、学院 -21-赵晓群 教授第5章语音信号的频域分析 5.5短时 Fourier 谱的取样2RsSkf2stfRkNLN第第5 5章语音信号的频域分析章语音信号的频域分析5.6语音的短时合成技术语音的短时合成：语音的短时合成：从从 STFT 样本中恢复原始语音信号。样本中恢复原始语音信号。滤波器组相加法滤波器组相加法当当 固定固定时，时，STFT 的的线性滤波线性滤波解释有两种；解释有两种；Xn(ej)是是序列序列 x(n)e-jn 通过通过冲激响应冲激响应为为 w(n)的的 低通窄带滤波器低通窄带滤波器产生（见产生（见图图5.5）；）；Xn(ej)是是序列序列 x(n)通过通过冲激响应冲激响应

29、为为 w(n)ejn 的的 窄带带通滤波器窄带带通滤波器后，再用后，再用 e-jn 进行进行调制调制产生（见产生（见图图5.7）。）。已有的采样结论：已有的采样结论：窗宽窗宽为为 N，频域内对，频域内对 Xn(ej)进行进行 N 点点取样取样，不引起时域不引起时域混叠失真混叠失真。STFT可以用它在可以用它在 02 范围内范围内 N 个等间隔频率点个等间隔频率点 k=2k/L，k=0,1,L-1上的样本来代替。上的样本来代替。同济大学电子与信息工程学院 -22-赵晓群 教授第5章语音信号的频域分析 5.6语音的短时合成技术图图5.9：语音的语音的短时分析短时分析-合成合成系统系统 图图5.7的

30、的 STFT 的的线性滤波线性滤波实现方案为实现方案为图图5.9的左半部分；的左半部分；用用 N 个个滤波器滤波器（通道通道）：）：构成的构成的滤波器组滤波器组进行进行短时短时 Fourier 分析分析。N个个带通滤波器带通滤波器的的中心频率中心频率在在 02 范围内是范围内是 等间隔等间隔均匀分布均匀分布，但也可以是，但也可以是非均匀分布非均匀分布。非均匀分布非均匀分布情况下，需满足关于情况下，需满足关于=对称对称的条件。的条件。同济大学电子与信息工程学院 -23-赵晓群 教授第5章语音信号的频域分析 5.6语音的短时合成技术1j(e)nnX0j(e)nnX1j(e)NnnX1-jen0-j

31、en1-jeNn1jen0jen1jeNn0()y n1()y n1()Nyn()x n()()y nx n传 输h0(n)h1(n)hN-1(n)图图5.9语音短时分析语音短时分析合成系统图合成系统图()(),(0,1,1)jeknkh nw nkN短时短时 Fourier 分析的分析的合成问题：合成问题：从从短时短时 Fourier 分析分析的结果的结果 恢复出恢复出原始语音信号原始语音信号 x(n)的方法。的方法。是以是以 k 为中心的为中心的带通信号带通信号的的低通表示低通表示。这说明，从这说明，从 恢复原始信号，应该将恢复原始信号，应该将低通信号低通信号搬回到搬回到带通带通的位置去，

32、即将的位置去，即将零频率零频率搬到上去。搬到上去。合成原理：合成原理：第第 k 个个通道通道的输出的输出 应乘以应乘以 ，并将并将 N 个个通道通道的结果的结果相加相加就可得到就可得到原始信号原始信号 x(n)。短时分析短时分析合成系统合成系统的输出（见的输出（见图图5.9）：）：从从 x(n)到到 y(n)的系统的的系统的冲激响应冲激响应h(n)和其和其频率特性频率特性为：为：式中式中 分别是分别是 h(n)和和 hk(n)的的频率特性频率特性。同济大学电子与信息工程学院 -24-赵晓群 教授第5章语音信号的频域分析 5.6语音的短时合成技术1100()()()jjeekkNNnnkkky

33、nXy n()jeknX()jeknX()jeknX()jje ekknnX10()()Nkkh nh n10()()jjeeNkkHH(),()jjeekHH W(ej)分析窗分析窗 w(n)的的频率特性频率特性。由于由于 ，所以：，所以：W(ej)的的 N 个个等间隔等间隔频率点频率点 上上取样取样为为 ，的的逆变换逆变换为为时间序列时间序列 w(n)，是周期为是周期为 N 的的延拓延拓，即：即：由于由于，w(n)是宽度为是宽度为 N 的的有限时宽序列有限时宽序列，W(ej)的的频域取样频域取样点在点在 02 范围内有范围内有 N 个，个，所以，上式的所以，上式的逆变换逆变换得到的周期序列

34、得到的周期序列没有重叠没有重叠失真，失真，其中的一个周期将准确等于其中的一个周期将准确等于 w(n)。令令 n=0，计算，计算 w(0)为：为：同济大学电子与信息工程学院 -25-赵晓群 教授第5章语音信号的频域分析 5.6语音的短时合成技术11)00()()()j(jjeeekNNkkkkHHW 2/kk N1jj2/01(e)e()kNkn NkrWw nrNN1j01(e)(0)kNkWwN()()jeknkh nw n()jekW()jekW将将频率点频率点 k 换成另外换成另外 N 个个频率点频率点-k，代入上页式，得：代入上页式，得：由式由式 ，考虑上式关系，得：考虑上式关系，得：

35、可见：可见：联系联系 x(n)和和 y(n)的的带通滤波器组带通滤波器组的总的的总的冲激响应冲激响应 所对应的所对应的频率特性频率特性是一个取决于窗函数在是一个取决于窗函数在 n=0 时的值，时的值，而与窗函数的形式无关的一个常量。而与窗函数的形式无关的一个常量。由此可以得到相应的由此可以得到相应的冲激响应冲激响应为：为：于是，于是，短时分析短时分析合成系统合成系统的输出为：的输出为：综上，综上，短时分析短时分析合成系统合成系统的带通滤波器组的的带通滤波器组的约束条件约束条件为：为：同济大学电子与信息工程学院 -26-赵晓群 教授第5章语音信号的频域分析 5.6语音的短时合成技术1j(-)01

36、(e)(0)kNkWwN()(0)jeHNw()(0)()h nNwn1)0()()j(jeekNkkHW()()()(0)()y nx nh nNwx n10()()(0)()Nkkh nh nNwn叠接相加法叠接相加法x(n)的的短时谱短时谱为为 Xn(ej)，是，是 x(m)w(n-m)的的 Fourier 变换变换；对对 Xn(ej)求离散求离散 Fourier 逆变换逆变换，可得，可得 x(n)。问题是，计算问题是，计算数据数据只有只有 ，而不是，而不是 Xn(ej)。公式推导如下：公式推导如下：假设窗假设窗 w(n-m)每次每次移动移动R个取样间隔，即个取样间隔，即 n=rR,r=

37、,0,1,。于是可于是可相继恢复相继恢复出位于出位于n=0,R,2R,.处各窗口内的各处各窗口内的各 N 个取个取样信号值，这些样本可表示为：样信号值，这些样本可表示为：是是窗口窗口位于位于 n=rR 处的处的 的值。的值。将各将各窗口窗口内恢复出来的信号样本中，内恢复出来的信号样本中，相互重叠的样本相互重叠的样本相加，得：相加，得：同济大学电子与信息工程学院 -27-赵晓群 教授第5章语音信号的频域分析 5.6语音的短时合成技术1jj01()(e)ekkNmrrRky mXrN ()()()()rrry my mx mw rRm()jeknXj(e)krRX()jeknX如果如果w(m)是是

38、有限窗宽有限窗宽，且，且 在时域内在时域内满足取样定理满足取样定理，（矩形窗（矩形窗 RN/2，Hamming 窗窗 RN/4）可以证明对于任何可以证明对于任何 m 值，恒有值，恒有 于是，有：于是，有：可见，用可见，用叠接相加法叠接相加法的的 主要运算是主要运算是逆离散逆离散Fourier变换变换。图图5.10：该算法该算法流程图流程图。图图5.11：前前5段语音叠接相加的情况。段语音叠接相加的情况。同济大学电子与信息工程学院 -28-赵晓群 教授第5章语音信号的频域分析 5.6语音的短时合成技术图图5.10短时合成叠接相加法流程图短时合成叠接相加法流程图n=N/4,r=1x(n)w(rR-

39、n)补点构成补点构成L点序列点序列L 点点 FFT短时谱修正短时谱修正L 点逆点逆 FFTy(m)=y(m)+yr(m)m=n-N+1,nn=n+N/4,r=r+1w(n)y(m)=0,所有所有 m窗宽窗宽 Nj0(e)()rWw rRmRj0(e)()()Wy mx mR()jeknX加加Hamming窗窗取取R=N/4注：注：滤波器组相加法滤波器组相加法基于短时频谱的基于短时频谱的线性滤波解释线性滤波解释导出；导出；叠接相加法叠接相加法基于短时频谱的基于短时频谱的标准标准 Fourier 变换变换解释导；解释导；两种算法恰成一种两种算法恰成一种对偶关系对偶关系。同济大学电子与信息工程学院

40、-29-赵晓群 教授第5章语音信号的频域分析 5.6语音的短时合成技术图图5.11用叠接相加法合成语音的示意图用叠接相加法合成语音的示意图(/4)w Nmmmmmmmmmmmmm(/2)w Nm(3/4)wNm()w Nm(5/4)wNm 1,/4rnN第 一 段 5,5/4rnN第 五 段 4,rnN第 四 段 3,3/4rnN第 三 段 2,/2rnN第 二 段34N2N34N4N2N4N54NN0第第5 5章语音信号的频域分析章语音信号的频域分析5.7基于 FFT 的短时 Fourier 分析 x(m)的短时的短时 Fourier 变换变换 Xn(ej)经时频采样后，为离散信号，经时频采

41、样后，为离散信号，经适当处理，可以用快速经适当处理，可以用快速 FFT 完成计算。完成计算。推导过程推导过程（略）。计算步骤：计算步骤：由由x(m)构造构造序列序列 xn(m)=x(n+m)w(-m)；根据根据 m=Lr+q,(q=0,1,L-1;r=0,1,N/L-1)，将将 xn(m)分成分成长为长为 L 的的 N/L 个个短段短段，并，并将所有短段将所有短段各对应元各对应元素素相加相加，得到长为，得到长为 L 的序列的序列 un(q)；将将 un(q)循环移位循环移位 n，得到，得到 un(m-nL),(m=0,1,L)；用用FFT计算计算以以 un(m-nL)的的 L 点点DFT，得到

42、，得到 同济大学电子与信息工程学院 -30-赵晓群 教授第5章语音信号的频域分析 5.7基于 FFT 的短时 Fourier 分析 j(e),(2/,0,1,.,1)knkXk L kL第第5 5章语音信号的频域分析章语音信号的频域分析5.85.8频域基音检测频域基音检测：计算复杂性频域基音检测：计算复杂性较高。较高。目前目前 DSP 技术，计算复杂性变得不太重要。技术，计算复杂性变得不太重要。已已用于编码标准用于编码标准中，如海事卫星系统中，如海事卫星系统 INMARSAT-M。谐波峰值基音检测法谐波峰值基音检测法 频域基音检测方法：频域基音检测方法：抽取基频上的频谱峰值。抽取基频上的频谱峰

43、值。要求：要求：语音中存在语音中存在第一谐波第一谐波分量；但分量；但预处理预处理等等可能丢失可能丢失信息，信息，更实际的方法：更实际的方法：检测检测所有所有的的谐波谐波峰值，峰值，使用这些谐波的使用这些谐波的公约数公约数或者或者相邻谐波的距离相邻谐波的距离来测量基频。来测量基频。可以使用可以使用梳状滤波器梳状滤波器完成完成匹配匹配工作。工作。同济大学电子与信息工程学院 -31-赵晓群 教授第5章语音信号的频域分析 5.8频域基音检测梳状滤波器梳状滤波器的特性：的特性：式中，式中，C(,0)和语音的和语音的频谱相关频谱相关。相关输出相关输出是是加权加权的的梳状峰值梳状峰值之和：之和：式中式中,m

44、 是所考虑的是所考虑的最大频率最大频率。若若 0 等于等于基频基频，则则梳状响应梳状响应能够匹配能够匹配谐波的峰值谐波的峰值，会得到会得到最大最大的的输出输出。图图5.13：谐波峰值的匹配方法。谐波峰值的匹配方法。同济大学电子与信息工程学院 -32-赵晓群 教授第5章语音信号的频域分析 5.8频域基音检测0000();,1,2,/(,)0;mW kkkC 其他图图5.13谐波峰值的匹配方法谐波峰值的匹配方法0/000010minmax()()()22mckmAX kW k频谱相似度基音检测法频谱相似度基音检测法 比较比较原始频谱原始频谱和和重构频谱重构频谱的相似性，从而确定的相似性，从而确定基

45、音周期基音周期。使用使用方均频谱误差方均频谱误差的相似性的相似性误差评价误差评价准则。准则。误差函数误差函数为：为：式中，式中，为为候选的基音周期候选的基音周期；2M+1为为分析窗分析窗的大小；的大小；Xw()为为窗选语音的窗选语音的原始频谱原始频谱，为为依赖于基音的依赖于基音的重构频谱重构频谱W()为为窗函数窗函数的的 Fourier 变换，变换，有关表达式有关表达式为：为：同济大学电子与信息工程学院 -33-赵晓群 教授第5章语音信号的频域分析 5.8频域基音检测200012()()(,)d2wwEXX 0(,)wX j()()()enwnXx n w n000(,)()()MwmmMXA

46、Wm j()()ennWw n0000(0.5)0(0.5)0(0.5)20(0.5)()()d()()dmwmmmmXWmAWm1988 年，该方法用于年，该方法用于Griffin建议的建议的多带激励声码器标准多带激励声码器标准中。中。图图5.14：典型的典型的具有正确基音具有正确基音的原始频谱和合成频谱。的原始频谱和合成频谱。同济大学电子与信息工程学院 -34-赵晓群 教授第5章语音信号的频域分析 5.8频域基音检测图图5.14原始语音频谱和合成的语音频谱的相似性比较原始语音频谱和合成的语音频谱的相似性比较第第5 5章语音信号的频域分析章语音信号的频域分析5.9语音信号的时-频表示（略）传

47、统传统Fourier变换的变换的缺点缺点及时及时-频分析思想频分析思想 (1)Fourier变换的变换的时间分辨率为零时间分辨率为零 (2)Fourier变换基于变换基于信号平稳信号平稳的假设的假设 (3)Fourier变换在全变换在全频域频域范围内范围内分辨率相同分辨率相同 信号的时信号的时-频表示频表示 (1)线性时线性时-频表示频表示 (2)二次时二次时-频表示频表示 (3)其他时其他时-频表示：频表示：Cohen-Posch类分布、类分布、L-Wigner分布分布不确定性原理不确定性原理 有效时域半径有效时域半径和和有效有效频频域半径域半径的的约束关系约束关系：Gabor变换变换小波变换及在语音中的应用小波变换及在语音中的应用 同济大学电子与信息工程学院 -35-赵晓群 教授第5章语音信号的频域分析 5.9语音信号的时-频表示1/2wW 谢 谢!