入人工神經(jīng)網(wǎng)絡(luò)的？)
一段語音是如何進(jìn)入人工神經(jīng)網(wǎng)絡(luò)的語音人工神經(jīng)網(wǎng)絡(luò)的前端處理是語音識別、語音合成、語音增強等任務(wù)中的關(guān)鍵環(huán)節(jié)。前端處理包括語音預(yù)處理特征提取圖1、語音輸入到Transformer中語音預(yù)處理大致總流程如圖圖2、語音預(yù)處理框架一語音預(yù)處理1、預(yù)加重語音信號通過發(fā)聲者的口唇輻射傳播空氣作為傳播介質(zhì)在傳遞聲音能量的同時會導(dǎo)致一定的能量損耗。特別是高頻成分因介質(zhì)的衰減效應(yīng)損失更為顯著。預(yù)加重技術(shù)通過增強語音信號中的高頻成分有效彌補高頻損耗從而更好地保護(hù)聲道中蘊含的信息。假設(shè)輸入信號第 個采樣點為 [n]a為預(yù)加重系數(shù)則輸出y[n]公式如下對應(yīng)的傳遞函數(shù)為頻率響應(yīng)為f為頻率fs為采樣率下圖是預(yù)加重濾波器對不同頻率成分的影響程度。增益反映了在特定頻率下預(yù)加重濾波器對信號的放大或衰減程度。它是頻率響應(yīng)的幅值大小在對數(shù)尺度上的表示。圖3、預(yù)加重對語音信號不同頻率的增益在 Matlab 中實現(xiàn)語音預(yù)加重#讀取音頻采樣率 [audioIn, fs] audioread(voice_test.wav); #預(yù)加重 pre_emphasis 0.97; y_preemphasized filter([1 -pre_emphasis], 1, audioIn);圖4、預(yù)加重對語音信號頻譜的改變2、分幀算法在處理語音信號時一般首先采用的是傅里葉變化將語音信號由時域轉(zhuǎn)換到頻域空間。但是直接處理長時間的非平穩(wěn)信號會非常困難且難以提取穩(wěn)定的特征。由于短時平穩(wěn)性即在一個較小的時間窗口通常是 20-40 毫秒內(nèi)信號的統(tǒng)計特性相對穩(wěn)定。因此通過將長語音信號分幀處理即將信號分成短的時間段進(jìn)行分析可以使得每個幀內(nèi)的信號近似平穩(wěn)。圖5、分幀示意圖分幀后通過滑動窗口對語音信號進(jìn)行分析可以實時地對信號進(jìn)行處理。為了保證在幀之間不會丟失重要信息通常會在分幀時設(shè)置一定的幀重疊通常是 50% 左右的重疊。這意味著相鄰幀之間會共享一部分樣本確保信號的連續(xù)性尤其是在快速變化的地方不會丟失關(guān)鍵信息。在Matlab中實現(xiàn)語音分幀處理#定義幀長度和步長 frame_length round(0.025 * fs); % 25 ms 窗長度 frame_step round(0.010 * fs); % 10 ms 步長 #計算幀數(shù) num_frames floor((length(y_preemphasized) - frame_length) / frame_step) 1; #初始化幀矩陣 frames zeros(frame_length, num_frames); #分幀操作將信號逐幀劃分并存儲到幀矩陣中。 for i 1:num_frames start_idx (i-1) * frame_step 1; end_idx start_idx frame_length - 1; frames(:, i) y_preemphasized(start_idx:end_idx); end圖6、分幀結(jié)果3、加窗加窗是一種在信號截斷前對其進(jìn)行預(yù)處理的方法通過在時域上乘以一個窗函數(shù)可以使得信號在截斷處的變化更加平滑減小由加矩形窗引起的截斷效應(yīng)從而減少由頻譜泄漏。在 Matlab 中實現(xiàn)語音加窗處理#漢明窗 window hamming(frame_length); frames_windowed frames .* window;圖7、分幀加窗結(jié)果4、端點檢測語音預(yù)處理中的端點檢測Endpoint Detection, EPD是指在語音信號中確定語音的有效部分即語音活動區(qū)域和無效部分如靜音或背景噪聲的過程。短時能量STE:即一幀語音信號的能量語音信號的短時能量通常比靜音段或噪聲段大可以用能量變化檢測語音的起止點。其中 x(n) 為第 n 幀的信號N 為幀長。短時過零率ZCR過零率表示信號過零點的次數(shù)語音段通常比噪聲段的過零率低。特別是元音段過零率較低而輔音段較高。其中 sgn 表示符號函數(shù)。高能量且低過零率語音段元音。高能量且高過零率語音段輔音。低能量且低過零率靜音段。低能量且高過零率噪聲段。當(dāng)然還有很多方法比如傳統(tǒng)機器學(xué)習(xí)方法里面的 SVM 分類器高斯混合模型GMM還有深度學(xué)習(xí)方法利用神經(jīng)網(wǎng)絡(luò)對信號進(jìn)行分類。5、噪聲抑制實際采集到的音頻通常會有一定強度的背景音這些背景音一般是背景噪音當(dāng)背景噪音強度較大時會對語音應(yīng)用的效果產(chǎn)生明顯的影響比如語音識別率降低端點檢測靈敏度下降等因此在語音的前端處理中進(jìn)行噪聲抑制也是是很有必要的。譜減法Spectral Subtraction在頻譜域中減去噪聲頻譜來抑制噪聲保留語音信號。首先將時間域的混合信號 x(t) 轉(zhuǎn)換到頻譜域通過端點檢測確定的靜音段提取噪聲信號并計算靜音段的平均功率譜在原始信號頻譜中減去噪聲平均譜并平滑處理以減少音樂噪聲逆短時傅里葉變換iSTFT將頻域轉(zhuǎn)為時域。圖8、譜減法噪聲抑制全流程其他的方法還有濾波的方法深度學(xué)習(xí)時頻掩蔽的方法還有特征空間通過特征級降噪二、特征提取1、語譜圖、聲音信號本是一維的時域信號直觀上很難看出頻率變化規(guī)律。傅里葉變換可把它變到頻域上雖然可看出信號的頻率分布但是丟失了時域信息無法看出頻率分布隨時間的變化。為了解決這個問題很多時頻分析手段應(yīng)運而生如短時傅里葉小波Wigner分布等都是常用的時頻域分析方法。語譜圖表示語音頻譜隨時間變化的圖形其縱軸為頻率橫軸為時間顏色的深淺表示能量的大小。圖9、語譜圖把一段長信號分幀、加窗再對每一幀做傅里葉變換FFT最后把每一幀的結(jié)果沿另一個維度頻域堆疊起來旋轉(zhuǎn)90度得到類似于一幅圖的二維信號形式。然后把這些幅度映射到一個灰度級表示注意幀長使用較短的幀其具有較寬的頻帶寬帶語譜圖較高的時間分辨率和較低的頻率分辨率而對于較長的幀則具有較窄的頻帶窄帶語譜圖較低的時間分辨率和較高的頻率分辨率Matlab實現(xiàn)畫語譜圖#短時傅里葉變換 (STFT) n_fft max(512, frame_length); # 確保 n_fft frame_length stft_frames fft(frames_windowed, n_fft); #計算功率譜 power_spectrum abs(stft_frames(1:n_fft/21, :)).^2; #只取正頻率部分 #轉(zhuǎn)換為對數(shù)幅度譜 (dB) log_power_spectrum 10 * log10(power_spectrum eps); #加 eps 避免對數(shù)零值 # 繪制語譜圖 time_axis (0:num_frames-1) * frame_step / fs; #時間軸 (秒) freq_axis (0:n_fft/2) * fs / n_fft; #頻率軸 (Hz)功率譜:幅度譜 只反映了信號的幅度信息而 功率譜幅度譜的平方反映了信號的能量分布。對數(shù)幅度譜:人類耳朵對聲音的感知是對數(shù)感知的意思是我們聽到的聲音強度變化并不與聲音強度的絕對值呈線性關(guān)系而是與聲音強度的對數(shù)成比例。低強度的聲音和高強度的聲音會更加接近人耳的感知從而使得特征提取和模型訓(xùn)練更加有效。圖10、真實語音的語譜圖語譜圖的本質(zhì)就是確定不同說話人聲音的本性。橫坐標(biāo)為時間縱坐標(biāo)為頻率。圖中的條紋稱之為“聲紋”它因人而異即可利用聲紋鑒別不同的說話人。圖11、一寬一窄語譜圖分別展示了一條語音句子的窄帶語譜圖和寬帶語譜圖。短時窗長度分別是50ms和2ms。寬帶都是豎紋時間分辨率高。窄帶都是橫紋頻率分辨率高。橫紋是與時間軸平行的幾條深色帶紋它們相應(yīng)于短時譜中的幾個凸點也就是共振峰豎紋是與時間軸垂直的一條條每個豎直條相當(dāng)于一個基音條紋的起點相當(dāng)于聲門脈沖的起點條紋之間的距離代表基音周期條紋越密說明基音頻率越高。2、梅爾倒譜人耳對頻率的感知是非線性的。低頻部分例如20 Hz 到 1000 Hz我們能夠更加敏感地感知頻率差異而在高頻部分如1000 Hz 到 10000 Hz我們對頻率變化的敏感度則會逐漸下降。梅爾尺度通過對數(shù)變換來模擬這種感知特性它能更好地模擬人耳對頻率的感知方式將頻率轉(zhuǎn)換到一個對人耳來說更自然的尺度。從而提高語音識別和語音分析的效果。梅爾尺度的計算公式為圖12、等高梅爾頻譜圖和等面積梅爾頻譜圖上圖是HZ到Mel的映射關(guān)系圖可以看到二者為log關(guān)系在頻率較低時Mel隨HZ變化較快當(dāng)頻率較高時曲線斜率小變化緩慢。梅爾濾波器組就是將線性頻譜轉(zhuǎn)換到梅爾尺度的工具如上右圖分為等高梅爾頻譜圖適用于非人聲領(lǐng)域和等面積梅爾頻譜圖適用于人聲領(lǐng)域。將剛才得到頻譜通過梅爾標(biāo)度濾波器組mel-scale filter banks就可以變換為梅爾頻譜。#計算功率譜圖 S abs(spectrogram(y_preemphasized, window, frame_length - hop_length, n_fft, fs)).^2; #生成梅爾濾波器組 mel_filter_bank melFilterBank(n_mels, n_fft, fs); #應(yīng)用梅爾濾波器到功率譜圖 mel_spec mel_filter_bank * S; #轉(zhuǎn)換為dB mel_spec_db 10 * log10(mel_spec eps);圖13、原始語音和語譜圖對應(yīng)的梅爾頻譜圖3、梅爾倒譜系數(shù)梅爾倒譜系數(shù)Mel-scale Frequency Cepstral Coefficients簡稱MFCC是在Mel標(biāo)度頻率域提取出來的倒譜參數(shù)。倒譜cepsrum)倒譜一詞是頻譜spectrum英文的前四個單詞倒過來寫而構(gòu)成的。就是一種信號的傅里葉變換經(jīng)對數(shù)運算后再進(jìn)行傅里葉反變換得到的譜。計算過程將原語音信號經(jīng)過傅里葉變換得到頻譜語音看作是聲源激勵 e[k] 和聲道系統(tǒng) h[k] 的卷積結(jié)果兩邊取對數(shù)再求逆傅里葉變換此時的x[k]實際上就是倒譜Cepstrumh[k] 是低階倒譜系數(shù)代表語音信號的頻譜包絡(luò)。它與語音信號的聲道特性如共振峰或聲道的濾波作用相關(guān)。e[k] 是高階倒譜系數(shù)代表語音信號的激勵成分。它與聲帶振動或激勵信號特性相關(guān)。最后逆變換得到的倒譜圖橫坐標(biāo)為倒頻率頻率的倒數(shù)單位是秒縱坐標(biāo)是振幅。對梅爾譜做log處理并做DCT離散余弦變換保留的余弦系數(shù)就是梅爾倒譜系數(shù)(MFCC)# 對數(shù)處理 mel_spec_db 10 * log10(mel_spec eps); # 計算梅爾倒譜系數(shù) (MFCC) num_mfcc 13; # 通常取前13個倒譜系數(shù) mfcc dct(mel_spec_db); # 對梅爾譜進(jìn)行離散余弦變換(DCT) # 取前13個余弦系數(shù) mfcc mfcc(1:num_mfcc, :);圖14、梅爾頻譜圖及其對應(yīng)的梅爾倒譜系數(shù)梅爾倒譜系數(shù)的主要作用是特征表示它們是音頻信號的特征表示可以用于后續(xù)的語音識別、音頻分類、情感分析等任務(wù)。數(shù)據(jù)壓縮通過使用較少的低頻倒譜系數(shù)通常只取前12-13個系數(shù)我們可以有效地表示大部分音頻信息減少數(shù)據(jù)的維度。去噪和增強識別性能高頻的梅爾倒譜系數(shù)通常包含了噪聲或細(xì)節(jié)通過去除這些高頻系數(shù)可以幫助提高識別系統(tǒng)的魯棒性和性能。三、實驗結(jié)果python實現(xiàn)語音的預(yù)處理和特征提取語譜圖梅爾語譜圖MFCCMFCC特征矩陣圖15、python得到的語譜圖圖16、python得到的梅爾語譜圖圖17、mfcc圖18、MFCC特征矩陣四、總結(jié)語音預(yù)處理是一系列操作用于將原始語音信號轉(zhuǎn)化為適合后續(xù)處理的特征形式。這些操作幫助提升信號質(zhì)量降低噪聲干擾增強語音信號的顯著特征從而提高語音處理系統(tǒng)如識別或合成的性能。預(yù)加重語音信號中高頻分量較弱且低頻分量可能包含更多環(huán)境噪聲。通過高通濾波器增強高頻分量平衡頻譜分布使高頻特征更加突出有利于后續(xù)的頻域分析。分幀語音信號是一種非平穩(wěn)信號但在短時間內(nèi)可認(rèn)為是平穩(wěn)的通常為 20-40ms。將連續(xù)語音信號分成多個短時幀便于后續(xù)分析語音信號的短時特性如功率、頻譜等。加窗分幀過程中信號在邊界處會出現(xiàn)頻譜泄漏現(xiàn)象。通過加窗抑制邊界效應(yīng)突出幀中心的重要性。端點檢測語音信號中可能包含大量非語音段如靜音或背景噪聲這些部分對處理無意義或有害。通過能量、過零率等特征提取語音的有效部分去除非語音段提高計算效率。語譜圖直接分析語音的頻域特性可以捕獲其隨時間變化的頻譜信息。展示語音信號在時間和頻率域的分布直觀地呈現(xiàn)頻率特征。梅爾語譜圖人耳對不同頻率的感知是非線性的高頻分辨率較低低頻分辨率較高。將頻率軸轉(zhuǎn)換為 Mel 軸模擬人耳聽覺特性使特征更符合感知規(guī)律。梅爾頻率倒譜系數(shù)語譜圖或梅爾語譜圖中的信息可能冗余不利于機器學(xué)習(xí)模型處理。通過離散余弦變換DCT將梅爾語譜圖壓縮為低維倒譜特征保留主要信息去除高頻變化。特征矩陣語音特征需以矩陣形式輸入到后續(xù)模型中。將不同特征如能量、MFCC 等按時間幀組織成二維矩陣便于處理。 一段語音是如何進(jìn)入人工神經(jīng)網(wǎng)絡(luò)的？
一段語音是如何進(jìn)入人工神經(jīng)網(wǎng)絡(luò)的語音人工神經(jīng)網(wǎng)絡(luò)的前端處理是語音識別、語音合成、語音增強等任務(wù)中的關(guān)鍵環(huán)節(jié)。前端處理包括語音預(yù)處理特征提取圖1、語音輸入到Transformer中語音預(yù)處理大致總流程如圖圖2、語音預(yù)處理框架一語音預(yù)處理1、預(yù)加重語音信號通過發(fā)聲者的口唇輻射傳播空氣作為傳播介質(zhì)在傳遞聲音能量的同時會導(dǎo)致一定的能量損耗。特別是高頻成分因介質(zhì)的衰減效應(yīng)損失更為顯著。預(yù)加重技術(shù)通過增強語音信號中的高頻成分有效彌補高頻損耗從而更好地保護(hù)聲道中蘊含的信息。假設(shè)輸入信號第 個采樣點為 [n]a為預(yù)加重系數(shù)則輸出y[n]公式如下對應(yīng)的傳遞函數(shù)為頻率響應(yīng)為f為頻率fs為采樣率下圖是預(yù)加重濾波器對不同頻率成分的影響程度。增益反映了在特定頻率下預(yù)加重濾波器對信號的放大或衰減程度。它是頻率響應(yīng)的幅值大小在對數(shù)尺度上的表示。圖3、預(yù)加重對語音信號不同頻率的增益在 Matlab 中實現(xiàn)語音預(yù)加重#讀取音頻采樣率 [audioIn, fs] audioread(voice_test.wav); #預(yù)加重 pre_emphasis 0.97; y_preemphasized filter([1 -pre_emphasis], 1, audioIn);圖4、預(yù)加重對語音信號頻譜的改變2、分幀算法在處理語音信號時一般首先采用的是傅里葉變化將語音信號由時域轉(zhuǎn)換到頻域空間。但是直接處理長時間的非平穩(wěn)信號會非常困難且難以提取穩(wěn)定的特征。由于短時平穩(wěn)性即在一個較小的時間窗口通常是 20-40 毫秒內(nèi)信號的統(tǒng)計特性相對穩(wěn)定。因此通過將長語音信號分幀處理即將信號分成短的時間段進(jìn)行分析可以使得每個幀內(nèi)的信號近似平穩(wěn)。圖5、分幀示意圖分幀后通過滑動窗口對語音信號進(jìn)行分析可以實時地對信號進(jìn)行處理。為了保證在幀之間不會丟失重要信息通常會在分幀時設(shè)置一定的幀重疊通常是 50% 左右的重疊。這意味著相鄰幀之間會共享一部分樣本確保信號的連續(xù)性尤其是在快速變化的地方不會丟失關(guān)鍵信息。在Matlab中實現(xiàn)語音分幀處理#定義幀長度和步長 frame_length round(0.025 * fs); % 25 ms 窗長度 frame_step round(0.010 * fs); % 10 ms 步長 #計算幀數(shù) num_frames floor((length(y_preemphasized) - frame_length) / frame_step) 1; #初始化幀矩陣 frames zeros(frame_length, num_frames); #分幀操作將信號逐幀劃分并存儲到幀矩陣中。 for i 1:num_frames start_idx (i-1) * frame_step 1; end_idx start_idx frame_length - 1; frames(:, i) y_preemphasized(start_idx:end_idx); end圖6、分幀結(jié)果3、加窗加窗是一種在信號截斷前對其進(jìn)行預(yù)處理的方法通過在時域上乘以一個窗函數(shù)可以使得信號在截斷處的變化更加平滑減小由加矩形窗引起的截斷效應(yīng)從而減少由頻譜泄漏。在 Matlab 中實現(xiàn)語音加窗處理#漢明窗 window hamming(frame_length); frames_windowed frames .* window;圖7、分幀加窗結(jié)果4、端點檢測語音預(yù)處理中的端點檢測Endpoint Detection, EPD是指在語音信號中確定語音的有效部分即語音活動區(qū)域和無效部分如靜音或背景噪聲的過程。短時能量STE:即一幀語音信號的能量語音信號的短時能量通常比靜音段或噪聲段大可以用能量變化檢測語音的起止點。其中 x(n) 為第 n 幀的信號N 為幀長。短時過零率ZCR過零率表示信號過零點的次數(shù)語音段通常比噪聲段的過零率低。特別是元音段過零率較低而輔音段較高。其中 sgn 表示符號函數(shù)。高能量且低過零率語音段元音。高能量且高過零率語音段輔音。低能量且低過零率靜音段。低能量且高過零率噪聲段。當(dāng)然還有很多方法比如傳統(tǒng)機器學(xué)習(xí)方法里面的 SVM 分類器高斯混合模型GMM還有深度學(xué)習(xí)方法利用神經(jīng)網(wǎng)絡(luò)對信號進(jìn)行分類。5、噪聲抑制實際采集到的音頻通常會有一定強度的背景音這些背景音一般是背景噪音當(dāng)背景噪音強度較大時會對語音應(yīng)用的效果產(chǎn)生明顯的影響比如語音識別率降低端點檢測靈敏度下降等因此在語音的前端處理中進(jìn)行噪聲抑制也是是很有必要的。譜減法Spectral Subtraction在頻譜域中減去噪聲頻譜來抑制噪聲保留語音信號。首先將時間域的混合信號 x(t) 轉(zhuǎn)換到頻譜域通過端點檢測確定的靜音段提取噪聲信號并計算靜音段的平均功率譜在原始信號頻譜中減去噪聲平均譜并平滑處理以減少音樂噪聲逆短時傅里葉變換iSTFT將頻域轉(zhuǎn)為時域。圖8、譜減法噪聲抑制全流程其他的方法還有濾波的方法深度學(xué)習(xí)時頻掩蔽的方法還有特征空間通過特征級降噪二、特征提取1、語譜圖、聲音信號本是一維的時域信號直觀上很難看出頻率變化規(guī)律。傅里葉變換可把它變到頻域上雖然可看出信號的頻率分布但是丟失了時域信息無法看出頻率分布隨時間的變化。為了解決這個問題很多時頻分析手段應(yīng)運而生如短時傅里葉小波Wigner分布等都是常用的時頻域分析方法。語譜圖表示語音頻譜隨時間變化的圖形其縱軸為頻率橫軸為時間顏色的深淺表示能量的大小。圖9、語譜圖把一段長信號分幀、加窗再對每一幀做傅里葉變換FFT最后把每一幀的結(jié)果沿另一個維度頻域堆疊起來旋轉(zhuǎn)90度得到類似于一幅圖的二維信號形式。然后把這些幅度映射到一個灰度級表示注意幀長使用較短的幀其具有較寬的頻帶寬帶語譜圖較高的時間分辨率和較低的頻率分辨率而對于較長的幀則具有較窄的頻帶窄帶語譜圖較低的時間分辨率和較高的頻率分辨率Matlab實現(xiàn)畫語譜圖#短時傅里葉變換 (STFT) n_fft max(512, frame_length); # 確保 n_fft frame_length stft_frames fft(frames_windowed, n_fft); #計算功率譜 power_spectrum abs(stft_frames(1:n_fft/21, :)).^2; #只取正頻率部分 #轉(zhuǎn)換為對數(shù)幅度譜 (dB) log_power_spectrum 10 * log10(power_spectrum eps); #加 eps 避免對數(shù)零值 # 繪制語譜圖 time_axis (0:num_frames-1) * frame_step / fs; #時間軸 (秒) freq_axis (0:n_fft/2) * fs / n_fft; #頻率軸 (Hz)功率譜:幅度譜 只反映了信號的幅度信息而 功率譜幅度譜的平方反映了信號的能量分布。對數(shù)幅度譜:人類耳朵對聲音的感知是對數(shù)感知的意思是我們聽到的聲音強度變化并不與聲音強度的絕對值呈線性關(guān)系而是與聲音強度的對數(shù)成比例。低強度的聲音和高強度的聲音會更加接近人耳的感知從而使得特征提取和模型訓(xùn)練更加有效。圖10、真實語音的語譜圖語譜圖的本質(zhì)就是確定不同說話人聲音的本性。橫坐標(biāo)為時間縱坐標(biāo)為頻率。圖中的條紋稱之為“聲紋”它因人而異即可利用聲紋鑒別不同的說話人。圖11、一寬一窄語譜圖分別展示了一條語音句子的窄帶語譜圖和寬帶語譜圖。短時窗長度分別是50ms和2ms。寬帶都是豎紋時間分辨率高。窄帶都是橫紋頻率分辨率高。橫紋是與時間軸平行的幾條深色帶紋它們相應(yīng)于短時譜中的幾個凸點也就是共振峰豎紋是與時間軸垂直的一條條每個豎直條相當(dāng)于一個基音條紋的起點相當(dāng)于聲門脈沖的起點條紋之間的距離代表基音周期條紋越密說明基音頻率越高。2、梅爾倒譜人耳對頻率的感知是非線性的。低頻部分例如20 Hz 到 1000 Hz我們能夠更加敏感地感知頻率差異而在高頻部分如1000 Hz 到 10000 Hz我們對頻率變化的敏感度則會逐漸下降。梅爾尺度通過對數(shù)變換來模擬這種感知特性它能更好地模擬人耳對頻率的感知方式將頻率轉(zhuǎn)換到一個對人耳來說更自然的尺度。從而提高語音識別和語音分析的效果。梅爾尺度的計算公式為圖12、等高梅爾頻譜圖和等面積梅爾頻譜圖上圖是HZ到Mel的映射關(guān)系圖可以看到二者為log關(guān)系在頻率較低時Mel隨HZ變化較快當(dāng)頻率較高時曲線斜率小變化緩慢。梅爾濾波器組就是將線性頻譜轉(zhuǎn)換到梅爾尺度的工具如上右圖分為等高梅爾頻譜圖適用于非人聲領(lǐng)域和等面積梅爾頻譜圖適用于人聲領(lǐng)域。將剛才得到頻譜通過梅爾標(biāo)度濾波器組mel-scale filter banks就可以變換為梅爾頻譜。#計算功率譜圖 S abs(spectrogram(y_preemphasized, window, frame_length - hop_length, n_fft, fs)).^2; #生成梅爾濾波器組 mel_filter_bank melFilterBank(n_mels, n_fft, fs); #應(yīng)用梅爾濾波器到功率譜圖 mel_spec mel_filter_bank * S; #轉(zhuǎn)換為dB mel_spec_db 10 * log10(mel_spec eps);圖13、原始語音和語譜圖對應(yīng)的梅爾頻譜圖3、梅爾倒譜系數(shù)梅爾倒譜系數(shù)Mel-scale Frequency Cepstral Coefficients簡稱MFCC是在Mel標(biāo)度頻率域提取出來的倒譜參數(shù)。倒譜cepsrum)倒譜一詞是頻譜spectrum英文的前四個單詞倒過來寫而構(gòu)成的。就是一種信號的傅里葉變換經(jīng)對數(shù)運算后再進(jìn)行傅里葉反變換得到的譜。計算過程將原語音信號經(jīng)過傅里葉變換得到頻譜語音看作是聲源激勵 e[k] 和聲道系統(tǒng) h[k] 的卷積結(jié)果兩邊取對數(shù)再求逆傅里葉變換此時的x[k]實際上就是倒譜Cepstrumh[k] 是低階倒譜系數(shù)代表語音信號的頻譜包絡(luò)。它與語音信號的聲道特性如共振峰或聲道的濾波作用相關(guān)。e[k] 是高階倒譜系數(shù)代表語音信號的激勵成分。它與聲帶振動或激勵信號特性相關(guān)。最后逆變換得到的倒譜圖橫坐標(biāo)為倒頻率頻率的倒數(shù)單位是秒縱坐標(biāo)是振幅。對梅爾譜做log處理并做DCT離散余弦變換保留的余弦系數(shù)就是梅爾倒譜系數(shù)(MFCC)# 對數(shù)處理 mel_spec_db 10 * log10(mel_spec eps); # 計算梅爾倒譜系數(shù) (MFCC) num_mfcc 13; # 通常取前13個倒譜系數(shù) mfcc dct(mel_spec_db); # 對梅爾譜進(jìn)行離散余弦變換(DCT) # 取前13個余弦系數(shù) mfcc mfcc(1:num_mfcc, :);圖14、梅爾頻譜圖及其對應(yīng)的梅爾倒譜系數(shù)梅爾倒譜系數(shù)的主要作用是特征表示它們是音頻信號的特征表示可以用于后續(xù)的語音識別、音頻分類、情感分析等任務(wù)。數(shù)據(jù)壓縮通過使用較少的低頻倒譜系數(shù)通常只取前12-13個系數(shù)我們可以有效地表示大部分音頻信息減少數(shù)據(jù)的維度。去噪和增強識別性能高頻的梅爾倒譜系數(shù)通常包含了噪聲或細(xì)節(jié)通過去除這些高頻系數(shù)可以幫助提高識別系統(tǒng)的魯棒性和性能。三、實驗結(jié)果python實現(xiàn)語音的預(yù)處理和特征提取語譜圖梅爾語譜圖MFCCMFCC特征矩陣圖15、python得到的語譜圖圖16、python得到的梅爾語譜圖圖17、mfcc圖18、MFCC特征矩陣四、總結(jié)語音預(yù)處理是一系列操作用于將原始語音信號轉(zhuǎn)化為適合后續(xù)處理的特征形式。這些操作幫助提升信號質(zhì)量降低噪聲干擾增強語音信號的顯著特征從而提高語音處理系統(tǒng)如識別或合成的性能。預(yù)加重語音信號中高頻分量較弱且低頻分量可能包含更多環(huán)境噪聲。通過高通濾波器增強高頻分量平衡頻譜分布使高頻特征更加突出有利于后續(xù)的頻域分析。分幀語音信號是一種非平穩(wěn)信號但在短時間內(nèi)可認(rèn)為是平穩(wěn)的通常為 20-40ms。將連續(xù)語音信號分成多個短時幀便于后續(xù)分析語音信號的短時特性如功率、頻譜等。加窗分幀過程中信號在邊界處會出現(xiàn)頻譜泄漏現(xiàn)象。通過加窗抑制邊界效應(yīng)突出幀中心的重要性。端點檢測語音信號中可能包含大量非語音段如靜音或背景噪聲這些部分對處理無意義或有害。通過能量、過零率等特征提取語音的有效部分去除非語音段提高計算效率。語譜圖直接分析語音的頻域特性可以捕獲其隨時間變化的頻譜信息。展示語音信號在時間和頻率域的分布直觀地呈現(xiàn)頻率特征。梅爾語譜圖人耳對不同頻率的感知是非線性的高頻分辨率較低低頻分辨率較高。將頻率軸轉(zhuǎn)換為 Mel 軸模擬人耳聽覺特性使特征更符合感知規(guī)律。梅爾頻率倒譜系數(shù)語譜圖或梅爾語譜圖中的信息可能冗余不利于機器學(xué)習(xí)模型處理。通過離散余弦變換DCT將梅爾語譜圖壓縮為低維倒譜特征保留主要信息去除高頻變化。特征矩陣語音特征需以矩陣形式輸入到后續(xù)模型中。將不同特征如能量、MFCC 等按時間幀組織成二維矩陣便于處理。