语音增强电子信息PPT课件

《语音增强电子信息PPT课件》由会员分享，可在线阅读，更多相关《语音增强电子信息PPT课件（35页珍藏版）》请在装配图网上搜索。

1、18.1 8.1 概述概述8.2 8.2 噪声度量、特性和评价噪声度量、特性和评价8.3 8.3 语音增强的原理和方法语音增强的原理和方法 第八章第八章 语音增强语音增强 2一、语音增强的定义一、语音增强的定义 语音增强是指当语音信号被各种各样的噪声语音增强是指当语音信号被各种各样的噪声干扰、甚至淹没后，从噪声背景中提取有用的语干扰、甚至淹没后，从噪声背景中提取有用的语音信号，抑制、降低噪声干扰的技术。一句话，音信号，抑制、降低噪声干扰的技术。一句话，从含噪语音中提取尽可能纯净的原始语音。从含噪语音中提取尽可能纯净的原始语音。第八章第八章 语音增强语音增强 8.1 8.1 概述概述3二、语音增

2、强的意义二、语音增强的意义 1.1.日常生活中，经常会遇到在噪声干扰下进日常生活中，经常会遇到在噪声干扰下进行语音通信的问题。例如在汽车、火车上使用行语音通信的问题。例如在汽车、火车上使用移动电话，旁人的喧闹声，马路旁和市场里的移动电话，旁人的喧闹声，马路旁和市场里的公用电话等。公用电话等。2.2.军事通信中，指挥员的作战命令和战斗员军事通信中，指挥员的作战命令和战斗员的战情汇报都需要用语音来表达，由于战斗环的战情汇报都需要用语音来表达，由于战斗环境中的声环境恶劣，特别是炸弹产生的冲击性境中的声环境恶劣，特别是炸弹产生的冲击性噪声，使有用信号完全淹没在噪声中。噪声，使有用信号完全淹没在噪声中。

3、8.1 8.1 概述概述4（3 3）窃听技术中需要语音增强）窃听技术中需要语音增强（4 4）语音识别技术需要语音增强）语音识别技术需要语音增强 在实际生活中，语音信号无时无地不受各种噪在实际生活中，语音信号无时无地不受各种噪声干扰。人们正常的生活环境就是一个声级为声干扰。人们正常的生活环境就是一个声级为60dB60dB左右的噪声环境。被强噪声污染的场合，噪声达左右的噪声环境。被强噪声污染的场合，噪声达120dB120dB以上。以上。5一、噪声的分类和度量一、噪声的分类和度量 1.1.噪声的定义：噪声是扣除被测信号真实值后噪声的定义：噪声是扣除被测信号真实值后的各种测量值，可能来自外界环境、物理

4、系统、的各种测量值，可能来自外界环境、物理系统、操作人员等。广义将噪声称为干扰。操作人员等。广义将噪声称为干扰。8.2 噪声度量、特性和评价噪声度量、特性和评价6 按产生原因和按噪声性质分类。按产生原因和按噪声性质分类。（1 1）产生原因：产生于物理系统外部，并以）产生原因：产生于物理系统外部，并以声、光、电、机械等方式作用于物理系统，声、光、电、机械等方式作用于物理系统，称为外部噪声；物理系统内部产生的噪声称称为外部噪声；物理系统内部产生的噪声称为内部噪声，例如量子噪声等。为内部噪声，例如量子噪声等。2.2.噪声的分类噪声的分类7（2 2）按性质分为：脉冲噪声（爆炸、撞击和放电）按性质分为：

5、脉冲噪声（爆炸、撞击和放电）和连续噪声；周期性周期（如交流电的干扰）和非和连续噪声；周期性周期（如交流电的干扰）和非周期性噪声；按统计特性分为：平稳噪声（如白噪周期性噪声；按统计特性分为：平稳噪声（如白噪声）和非平稳噪声（如色噪声）；按噪声和信号相声）和非平稳噪声（如色噪声）；按噪声和信号相关的性质分为加性噪声和乘性噪声。关的性质分为加性噪声和乘性噪声。我们研究的噪声是声音的一种，它具有声波的我们研究的噪声是声音的一种，它具有声波的一切特性，称之为声噪声。一切特性，称之为声噪声。83.3.噪声的度量噪声的度量 声压、声强和声功率声压、声强和声功率（1 1）声压级）声压级(SPL)(SPL)：L

6、 Lp p=20lg(P/P=20lg(P/P0 0)P)P0 020uPa20uPa声压就是有声波存在时，在单位面积上大气压的变化声压就是有声波存在时，在单位面积上大气压的变化部分部分，最弱的声音声压为最弱的声音声压为0.00002 Pa0.00002 Pa，最强的声音，最强的声音的声压为的声压为20 Pa20 Pa。（2 2）声强级：）声强级：L LI I=20lg(I/I=20lg(I/I0 0)I)I0 0=10=101212W/mW/m2 2声强是指单位面积上通过多少瓦的声能，单位是声强是指单位面积上通过多少瓦的声能，单位是W/mW/m2 2（瓦（瓦/平方米）。平方米）。（3 3）声

7、功率级：）声功率级：L Lw w=20lg(W/W=20lg(W/W0 0)W)W0 0=10=101212W W 声功率是指声源在单位时间内向外辐射出的总声能声功率是指声源在单位时间内向外辐射出的总声能9噪声源和噪声环境噪声源和噪声环境 声压声压/Pa/Pa 声压级声压级/dB/dB飞机附近飞机附近200200140140织布车间织布车间2020100100地铁地铁0.630.639090繁华街道繁华街道0.0630.0637070普通谈话普通谈话0.020.026060安静房间安静房间0.0020.0024040耳语耳语0.000630.000633030树叶沙沙声树叶沙沙声0.00020

8、.00022020农村静夜农村静夜0.0000630.0000631010听阈听阈0.000020.000020 010 声压和声压级表征声音在物理上的强弱，声压和声压级表征声音在物理上的强弱，它是对噪声的客观评价，不能表征人对声音的主观它是对噪声的客观评价，不能表征人对声音的主观感觉。响应级和响度是人耳对噪声的主观评价的基感觉。响应级和响度是人耳对噪声的主观评价的基本量之一。响度的单位为宋（本量之一。响度的单位为宋（SoneSone）响度级的单位）响度级的单位为方（为方（phonphon），在数值上等于），在数值上等于1kHz1kHz纯音的声强级。纯音的声强级。噪声度量的另一个参数就是信噪比

9、。噪声度量的另一个参数就是信噪比。其中其中PsPs和和PnPn分别代表信号和噪声的有效功率分别代表信号和噪声的有效功率 目前目前MP3MP3播放器的信噪比有播放器的信噪比有60dB60dB、65dB65dB、85dB85dB、90dB90dB、95dB95dB等等等等,而在汽车中而在汽车中SNRSNR只有几只有几dBdBNSPPSNR/log1011二、噪声的特性二、噪声的特性 从统计特性的角度讲：平稳噪声和非平稳噪声。从统计特性的角度讲：平稳噪声和非平稳噪声。白噪声是平稳噪声中的一种，其频谱和功率谱为常数，白噪声是平稳噪声中的一种，其频谱和功率谱为常数，其概率密度分布满足正态分布。其概率密度

10、分布满足正态分布。我们关注的噪声有：我们关注的噪声有：1.1.冲激噪声：放电、打火、爆炸等引起的噪声。它的冲激噪声：放电、打火、爆炸等引起的噪声。它的消除方法可以在时域进行，通过阈值判别的方法滤除。消除方法可以在时域进行，通过阈值判别的方法滤除。2.2.周期性噪声：常见的由电动机、风扇之类周期运转周期性噪声：常见的由电动机、风扇之类周期运转的机械发出，的机械发出，50Hz50Hz交流电源哼哼声等。在频谱上表现交流电源哼哼声等。在频谱上表现为离散的窄带谱，可以通过陷波器方法滤除。为离散的窄带谱，可以通过陷波器方法滤除。12二、噪声的特性二、噪声的特性3.3.宽带噪声：说话时呼吸引起的噪声、随机噪

11、声源产宽带噪声：说话时呼吸引起的噪声、随机噪声源产生的噪声等。特点是噪声频谱遍布于语音信号频谱之生的噪声等。特点是噪声频谱遍布于语音信号频谱之中消除较为困难，一般需采用非线性处理方法。中消除较为困难，一般需采用非线性处理方法。4.4.语音干扰：干扰语音信号和待传语音信号同时在一语音干扰：干扰语音信号和待传语音信号同时在一个信道中传输造成的。一般两种语音的基因不同，也个信道中传输造成的。一般两种语音的基因不同，也不成整数倍，则可以利用梳状滤波器提取基音及各次不成整数倍，则可以利用梳状滤波器提取基音及各次谐波，再回复有用语音信号。谐波，再回复有用语音信号。5.5.传输噪声：传输系统的电路噪声，她在

12、时域里是语传输噪声：传输系统的电路噪声，她在时域里是语音和噪声的卷积，处理时采用同态处理的方法，把非音和噪声的卷积，处理时采用同态处理的方法，把非加性噪声变换为加性噪声处理。加性噪声变换为加性噪声处理。13一、频域语音增强技术一、频域语音增强技术 频域语音增强技术是语音信号增强的一种重要技频域语音增强技术是语音信号增强的一种重要技术，由于其原理简单所以被广泛使用，如手机中的降术，由于其原理简单所以被广泛使用，如手机中的降噪处理就是采用的此方法，美国噪处理就是采用的此方法，美国NCTNCT的的Clear SpeechClear Speech产品中，就是应用的这技术。减谱法是频域语音增强产品中，就

13、是应用的这技术。减谱法是频域语音增强技术的常用方法。技术的常用方法。减谱法：减谱法：减谱法是处理宽带噪声较为传统和有效的方法，减谱法是处理宽带噪声较为传统和有效的方法，基本思想是假定加性噪声与短时平稳的语音信号相互基本思想是假定加性噪声与短时平稳的语音信号相互独立的条件下，从带噪语音的功率谱中减去噪声功率独立的条件下，从带噪语音的功率谱中减去噪声功率谱，从而得到较为纯净的语音频谱。谱，从而得到较为纯净的语音频谱。语音增强的原理和方法语音增强的原理和方法 14 1.减谱法减谱法（Spectral Subtraction）的基本原理描述）的基本原理描述 DFT平方平方DFT插入插入相位相位IDFT

14、含噪含噪语音语音x(n)=s(n)+d(n)|X(ejw)|d(n)|D(ejw)|纯噪纯噪声声|S(ejw)|ejarg(X(jw)s(n)原始语音谱幅度的估值原始语音谱幅度的估值215 将含噪语音信号和有声将含噪语音信号和有声/无声判别得到的无声判别得到的纯噪声信号进行纯噪声信号进行DFTDFT变化，从含噪语音谱幅度的变化，从含噪语音谱幅度的平方中减去纯噪声的谱幅度的平方，然后开方，平方中减去纯噪声的谱幅度的平方，然后开方，得原始语音谱幅度的估值，再借用含噪语音的得原始语音谱幅度的估值，再借用含噪语音的相位，进行相位，进行IDFTIDFT变化，得到增强的语音。变化，得到增强的语音。语音增强

15、的原理和方法语音增强的原理和方法 1.减谱法减谱法（Spectral Subtraction）的基本原理描述）的基本原理描述 16 2.2.减谱法的数学推导减谱法的数学推导 首先假设语音和噪声信号是线性叠加的，首先假设语音和噪声信号是线性叠加的，且噪声是平稳的，噪声与语音信号不相关。且噪声是平稳的，噪声与语音信号不相关。上式的傅里叶变换为：上式的傅里叶变换为：简写为简写为：假设语音信号与加性噪声是相互独立的，则有：假设语音信号与加性噪声是相互独立的，则有：语音增强的原理和方法语音增强的原理和方法 222)()()(DSY)()()(jjjeDeSeY)()()(DSY)()()(nDnSnY1

16、7 语音增强的原理和方法语音增强的原理和方法 2.2.减谱法的数学推导减谱法的数学推导 其功率谱：其功率谱：)()()(nsyPPP)(nP)()()(nysPPP)()(,0)()(),()()(nynynysPPPPPPP由于平稳噪声的功率谱在发声前和发声期间可以认为由于平稳噪声的功率谱在发声前和发声期间可以认为基本没有变化，则可以通过发声前的所谓基本没有变化，则可以通过发声前的所谓“静寂段静寂段”来来估计噪声的功率谱估计噪声的功率谱222)()()(DSY在具体运算中，为防止出现负功率谱的情况，在具体运算中，为防止出现负功率谱的情况，完整的减谱法为：完整的减谱法为：18 3.3.减谱法的

17、特点减谱法的特点(1)(1)原理简单，只需要一个话筒，故又称为单话筒语原理简单，只需要一个话筒，故又称为单话筒语音降噪。音降噪。话话音音噪噪声声减谱法处理减谱法处理输出输出话筒话筒19(2)(2)需要无声和有声判决，在信噪比大的情况需要无声和有声判决，在信噪比大的情况下，使用短时平均能量等参数可达到效果。下，使用短时平均能量等参数可达到效果。(3)(3)由于该方法存在的前提条件要求噪声平稳，由于该方法存在的前提条件要求噪声平稳，因此当噪声特性变化时，消噪效果可能会变差，因此当噪声特性变化时，消噪效果可能会变差，这时需要重新拾取噪声特性。这时需要重新拾取噪声特性。3.3.减谱法的特点减谱法的特点

18、20 (4)(4)由于噪声的随机分布的范围广，因此相减时，由于噪声的随机分布的范围广，因此相减时，若该帧某频率点上的噪声谱幅度分量大时，就会有若该帧某频率点上的噪声谱幅度分量大时，就会有很大一部分残留，在频谱上呈现随机起伏的尖峰。很大一部分残留，在频谱上呈现随机起伏的尖峰。在听觉上形成有节奏的类似音乐的残留噪声，又称在听觉上形成有节奏的类似音乐的残留噪声，又称为背景音乐噪声。背景音乐噪声损伤了语音的质量，为背景音乐噪声。背景音乐噪声损伤了语音的质量，降低了可懂度和清晰度，是该类方法最大的缺点。降低了可懂度和清晰度，是该类方法最大的缺点。所以实际电路中一般采用其改进形式进行语音增强所以实际电路中

19、一般采用其改进形式进行语音增强处理。处理。3.3.减谱法的特点减谱法的特点21蓝色为原始含噪语音蓝色为原始含噪语音黄色为减谱法处理的结果黄色为减谱法处理的结果22 4.减谱法减谱法的改进形式的改进形式DFT平方平方DFT插入插入相位相位IDFT含噪含噪语音语音x(n)=s(n)+d(n)|X(ejw)|d(n)|D(ejw)|纯噪纯噪声声|S(ejw)|ejarg(X(jw)s(n)原始语音谱幅度的估值原始语音谱幅度的估值1在辅音帧中取在辅音帧中取3 3，在元音帧中取，在元音帧中取4-54-5 ，信噪比可改，信噪比可改善善6dB6dB左右左右23二、时域语音增强技术二、时域语音增强技术 时域语

20、音增强技术语音增强中另一常用技术，时域语音增强技术语音增强中另一常用技术，其特点是对语音的损伤小。在消噪过程中，一般需其特点是对语音的损伤小。在消噪过程中，一般需要二个以上话筒，采用自适应滤波算法。故常常将要二个以上话筒，采用自适应滤波算法。故常常将时域语音增强技术称为自适应语音降噪技术时域语音增强技术称为自适应语音降噪技术（Adaptive noise canceling ANCAdaptive noise canceling ANC）。）。噪声的统计特性跟现场密切相关，即使同一场噪声的统计特性跟现场密切相关，即使同一场合的噪声统计特性也可能会随时间发生某种变化，合的噪声统计特性也可能会随时

21、间发生某种变化，这都要求消噪设备必须具有噪声跟踪的自适应能力。这都要求消噪设备必须具有噪声跟踪的自适应能力。将自适应信号处理技术应用于语音通信的噪声对消将自适应信号处理技术应用于语音通信的噪声对消.24 主话筒和参考话筒获得的信号是语音和噪声在话主话筒和参考话筒获得的信号是语音和噪声在话筒处迭加后的混合信号。筒处迭加后的混合信号。话话音音噪噪声声+自适应滤波器自适应滤波器主话筒主话筒 +输出输出参考话筒参考话筒-二、时域语音增强技术二、时域语音增强技术25 主信号主信号s+n0s+n0，为有用信号，为有用信号s s（来自信号源）和一（来自信号源）和一个与它不相关的噪声信号的混合而成。个与它不相

22、关的噪声信号的混合而成。n1n1为另外拾取的噪声参考信号，与为另外拾取的噪声参考信号，与n0n0相关。相关。主输入信号主输入信号x=s+n0 x=s+n0+输出输出ss参考输入参考输入n n1 1自适应自适应滤波器滤波器+nn-1.1.自适应消噪的基本原理描述自适应消噪的基本原理描述 26 将参考信号将参考信号n1n1通过自适应滤波器后，得到信号通过自适应滤波器后，得到信号n(n)n(n)，此信号与，此信号与n0(n)n0(n)基本一致。基本一致。x(n)-n(n)=s(n)+n0(n)-x(n)-n(n)=s(n)+n0(n)-n(n)=s(n)+e(n)=s(n)n(n)=s(n)+e(n

23、)=s(n)s(n)s(n)中仍然包含部分噪声中仍然包含部分噪声(e(n)(e(n)，要使这部分噪，要使这部分噪声小，达到完全消除噪声的目的声小，达到完全消除噪声的目的(e(n)=0)(e(n)=0)，则，则n(n)n(n)尽可能与尽可能与n0(n)n0(n)一致。一致。常常引入常常引入s(n)s(n)调节滤波器的参数，形成自适调节滤波器的参数，形成自适应地修改滤波器的参数，使应地修改滤波器的参数，使e(n)e(n)的均方误差最小。的均方误差最小。1.1.自适应消噪的基本原理描述自适应消噪的基本原理描述 272.2.自适应消噪的实现框图自适应消噪的实现框图模拟模拟放大放大两路两路A/DA/D输

24、出输出抗混叠抗混叠滤波滤波DSPDSP一路一路D/AD/A输入输入 在在DSPDSP中实现核心中实现核心LMSLMS（最小均方）算法（最小均方）算法。采样率为采样率为8kHz,8kHz,利用利用DSPDSP串行口或定时器中断，每隔串行口或定时器中断，每隔125us125us中断一次，读入两路数据，将参考数据按照先中断一次，读入两路数据，将参考数据按照先入先出的顺序排列，进行滤波，用主通道信号减去滤入先出的顺序排列，进行滤波，用主通道信号减去滤波后的数据，得到增强后的信号，将此信号输出，修波后的数据，得到增强后的信号，将此信号输出，修改滤波器权系数。改滤波器权系数。280200040006000

25、80001000012000-0.8-0.6-0.4-0.200.20.40.60.8抗交叉串扰自适应滤波消噪输出结果抗交叉串扰自适应滤波消噪输出结果020004000600080001000012000-0.8-0.6-0.4-0.200.20.40.60.8主输入信号（收音机失谐纯噪声）主输入信号（收音机失谐纯噪声）293.3.影响自适应消噪效果的因素影响自适应消噪效果的因素 （1 1）参考信号中含有语音成分，则通过滤波后，）参考信号中含有语音成分，则通过滤波后，n(n)n(n)信号中含有有用信号成分，经过相减后，将信号中含有有用信号成分，经过相减后，将主通道信号减去一部分，损伤了有用信息

26、。主通道信号减去一部分，损伤了有用信息。话话音音噪噪声声+自适应自适应滤波器滤波器主话筒主话筒 +输出输出参考话筒参考话筒-30 可以证明，输出信号的信噪比和参考信号的可以证明，输出信号的信噪比和参考信号的输入信噪比有如下关系：输入信噪比有如下关系：参出nSnSPPPP1 可见，当参考通道的输入信噪比愈强，噪声抵可见，当参考通道的输入信噪比愈强，噪声抵消系统输出信噪比愈差，所以，为了获得好的噪声消系统输出信噪比愈差，所以，为了获得好的噪声抵消系统性能，应使参考通道检测的信号尽可能小。抵消系统性能，应使参考通道检测的信号尽可能小。31 （2 2）主输入信号和参考输入信号中含有非相关）主输入信号和

27、参考输入信号中含有非相关的噪声成分的噪声成分m m0 0和和m m1 1。自适应滤波只能将两个输入。自适应滤波只能将两个输入中的噪声相关部分滤掉，则当信号不相关时，则中的噪声相关部分滤掉，则当信号不相关时，则无法消除。无法消除。话话音音噪噪声声+自适应自适应滤波器滤波器主话筒主话筒 +输出输出参考话筒参考话筒-m m0 0m m1 13200.511.522.533.5x 104-1-0.8-0.6-0.4-0.200.20.40.60.81原始含原始含噪语音噪语音00.511.522.533.5x 104-0.8-0.6-0.4-0.200.20.40.6基本自适基本自适应抗噪输应抗噪输出结

28、果出结果33三、时频语音增强技术三、时频语音增强技术 为了达到更好的消噪效果，可将自适应消为了达到更好的消噪效果，可将自适应消噪技术和谱相减结合起来。噪技术和谱相减结合起来。自自适适应应消消噪噪主输入信号主输入信号参考信号参考信号谱谱相相减减消消噪噪增强语音增强语音3400.511.522.533.5x 104-1-0.8-0.6-0.4-0.200.20.40.60.8100.511.522.533.5x 104-0.8-0.6-0.4-0.200.20.40.6原始含原始含噪语音噪语音 自适自适应抗噪与应抗噪与谱相减相谱相减相结合后的结合后的输出结果输出结果00.511.522.533.5x 104-0.8-0.6-0.4-0.200.20.40.6基本自适基本自适应抗噪输应抗噪输出结果出结果35