一種基于時(shí)延補(bǔ)償和雙耳一致性的雙耳聲音源定位方法
【專利摘要】本發(fā)明公開(kāi)了一種基于時(shí)延補(bǔ)償和雙耳一致性的雙耳聲音源定位方法,分別在時(shí)域和頻域基于最小化均方誤差準(zhǔn)則推導(dǎo)出雙耳能量差和雙耳時(shí)間差,利用雙耳一致性函數(shù)改進(jìn)了時(shí)延估計(jì)的精度,在得到雙耳定位特征之后,利用貝葉斯分層的搜索策略確定聲音源的轉(zhuǎn)向角和俯仰角,即達(dá)到定位的目的。首先,雙耳一致性函數(shù)保證了應(yīng)用于定位的信號(hào)幀為可靠的;其次,時(shí)延補(bǔ)償打破了傳統(tǒng)的需要兩個(gè)獨(dú)立的算法估計(jì)雙耳時(shí)間差和雙耳能量差的局限性,使雙耳特征提取的手段更具多樣化與普適性(適合多種不同程度地噪聲環(huán)境);最后,分層的定位系統(tǒng)能夠有效地減少特征匹配的次數(shù),降低了算法的時(shí)間復(fù)雜度,保證了聲源定位系統(tǒng)的實(shí)時(shí)性要求。
【專利說(shuō)明】—種基于時(shí)延補(bǔ)償和雙耳一致性的雙耳聲音源定位方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于信息【技術(shù)領(lǐng)域】,涉及一種應(yīng)用在語(yǔ)音感知和語(yǔ)音增強(qiáng)中的雙耳聲源定位方法,具體涉及一種基于時(shí)延補(bǔ)償和雙耳一致性的雙耳聲音源定位方法。
【背景技術(shù)】
[0002]雙耳聲源定位是聲源定位技術(shù)發(fā)展的一個(gè)重要分支。雙耳定位充分利用了雙麥克風(fēng)的易搭載性和耳廓的濾波特性,在智能監(jiān)控、移動(dòng)機(jī)器人、虛擬現(xiàn)實(shí)、視頻會(huì)議等研究中有著重要的應(yīng)用。它是聲源定位技術(shù)的一個(gè)重要分支,不僅利用了雙麥克風(fēng)簡(jiǎn)易的陣列結(jié)構(gòu),又結(jié)合人耳聽(tīng)覺(jué)特性成功克服了雙麥克風(fēng)定位的前后向歧義性。
[0003]雙耳聲源定位技術(shù)在機(jī)器人聽(tīng)覺(jué)、人機(jī)交互領(lǐng)域有著重要的應(yīng)用。一般來(lái)講機(jī)器人聽(tīng)覺(jué)包括聲源信號(hào)的定位與分離、自動(dòng)語(yǔ)音識(shí)別、說(shuō)話人識(shí)別等。機(jī)器人聽(tīng)覺(jué)聲源定位是指機(jī)器人利用搭載在機(jī)器人上或者外部設(shè)備上的麥克風(fēng)陣列定位出聲源的相對(duì)位置。而機(jī)器人的雙耳定位則是期望機(jī)器人能夠像人或者其他哺乳動(dòng)物一樣僅僅利用兩個(gè)聲音傳感器完成聲源信號(hào)的定位。
[0004]聲源定位技術(shù)在語(yǔ)音識(shí)別領(lǐng)域也得到廣泛應(yīng)用。在視頻會(huì)議中,通過(guò)聲源定位技術(shù)控制攝像頭,使其自動(dòng)地轉(zhuǎn)向感興趣的說(shuō)話人方向。對(duì)于高速行駛的車輛,為避免駕駛員用手去接聽(tīng)電話,車載免提電話應(yīng)運(yùn)而生。然而,當(dāng)車中坐有多個(gè)說(shuō)話人時(shí),語(yǔ)音識(shí)別系統(tǒng)就無(wú)法辨別實(shí)際命令的來(lái)源,此時(shí)就需要一種定位系統(tǒng)來(lái)提取駕駛員方位的語(yǔ)音,進(jìn)而對(duì)其命令作出響應(yīng)。助聽(tīng)器的出現(xiàn)為有聽(tīng)力障礙的殘疾人提供了幫助?;陉嚵械恼Z(yǔ)音增強(qiáng)技術(shù)利用聲源的位置信息進(jìn)行空間濾波,可以進(jìn)一步抑制除說(shuō)話人以外的其它方向的噪聲,使得助聽(tīng)器話音更加清晰。近年來(lái),基于聲源定位技術(shù)的電子筆系統(tǒng)成為研究熱點(diǎn),用于接收的麥克風(fēng)陣列以不同的方式集成在顯示器邊緣,此時(shí)設(shè)計(jì)出的電子筆就可以在屏幕上進(jìn)行書(shū)寫(xiě)或者相應(yīng)地控制操作。
[0005]在語(yǔ)音分離中,聲源定位技術(shù)有助于混疊語(yǔ)音的分離。語(yǔ)音分離源于“雞尾酒會(huì)”問(wèn)題,就是人們能夠在眾多談話聲和噪聲中集中聽(tīng)力于某個(gè)人的聲音的能力,長(zhǎng)期以來(lái)它被認(rèn)為是一個(gè)具有挑戰(zhàn)性的問(wèn)題?!半u尾酒會(huì)”問(wèn)題也常被稱做“雞尾酒會(huì)效應(yīng)”。在語(yǔ)音識(shí)別技術(shù)中,這方面的研究具有重要的實(shí)際意義。如果把聲源定位技術(shù)應(yīng)用到語(yǔ)音分離中,將會(huì)大大增強(qiáng)感興趣方向的語(yǔ)音識(shí)別,有助于混疊語(yǔ)音的分離。
[0006]基本上,雙耳聲音源定位是一個(gè)模式分類的問(wèn)題。類似于自動(dòng)語(yǔ)音識(shí)別,其主要的兩大步驟分別是:語(yǔ)音信號(hào)處理和模式分類。首先通過(guò)雙耳傳聲器接收原始的聲音源信號(hào),并進(jìn)行模數(shù)轉(zhuǎn)換,把模擬聲音信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)。在信號(hào)處理階段,首先對(duì)原始信號(hào)進(jìn)行預(yù)處理:降噪和濾波,信號(hào)預(yù)加重,分幀并加窗,對(duì)于每幀信號(hào)提取特征時(shí)域的特征或頻域特征組成特征向量。特征向量可以有效表征聲源的位置信息。模式分類階段,通過(guò)與定位系統(tǒng)中的先驗(yàn)知識(shí)(即模板)進(jìn)行比對(duì)從而得出定位結(jié)果?,F(xiàn)有的聲源定位系統(tǒng)包括以下步驟:
[0007]1、語(yǔ)音錄入,預(yù)濾波、模數(shù)變換。先把錄入的模擬聲音信號(hào)進(jìn)行預(yù)濾波,高通濾波抑制50Hz電源噪聲信號(hào);低通濾波濾除聲音信號(hào)中頻率分量超過(guò)采樣頻率一半的部分,防止混疊干擾,對(duì)模擬聲音信號(hào)進(jìn)行采樣和量化得到數(shù)字信號(hào)。
[0008]2、預(yù)加重。信號(hào)通過(guò)高頻加重濾波器沖激響應(yīng)!1(2)=1-0.952'以補(bǔ)償嘴唇輻射帶來(lái)的高頻衰減。
[0009]3、分幀、加窗。由于語(yǔ)音信號(hào)的慢時(shí)變性,整體非平穩(wěn),局部平穩(wěn),一般認(rèn)為語(yǔ)音信號(hào)在10-30ms內(nèi)是平穩(wěn)的,可以把聲音信號(hào)按照20ms的長(zhǎng)度進(jìn)行分幀。分幀函數(shù)為:
[0010]xk(n) =w (n) s (Nk+n) n=0, 1...N-1; k=0, 1...L-1 (I)其中 N為幀長(zhǎng),L 為幀數(shù)。w (n)為窗函數(shù),它的選擇(形狀和長(zhǎng)度)對(duì)短時(shí)分析參數(shù)的特性影響很大,常用的窗函數(shù)包括矩形窗、漢寧窗和漢明窗等。一般選用漢明窗,可以很好地反應(yīng)語(yǔ)音信號(hào)的特性變化,漢明窗表達(dá)式為:
[0011]
【權(quán)利要求】
1.一種基于時(shí)延補(bǔ)償和雙耳一致性的雙耳聲音源定位方法,包括: 1)訓(xùn)練階段,錄制雙耳聲音源定位數(shù)據(jù)庫(kù),為雙耳時(shí)間差和雙耳能量差建立模板,包括: 1-1)將定位空間按照轉(zhuǎn)向角和俯仰角劃分; 1-2)采用固定聲源到坐標(biāo)系中心距離,在室內(nèi)/半室內(nèi)安靜環(huán)境中分別為定位空間劃分后的每個(gè)方向錄制聲音數(shù)據(jù); 1-3)基于時(shí)延補(bǔ)償?shù)姆椒x線為每個(gè)方向上的雙耳時(shí)間差、雙耳能量差,以及各自的期望和方差建立模板; 2)在線定位階段,當(dāng)聲源定位系統(tǒng)檢測(cè)到有聲音源發(fā)生,先對(duì)錄入的聲音源信號(hào)進(jìn)行預(yù)處理,再利用雙耳一致性函數(shù)從該聲音源信號(hào)中提取有效的信號(hào)幀; 3)針對(duì)有效的信號(hào)幀基于時(shí)延補(bǔ)償?shù)姆椒ǎ?jì)算得到雙耳時(shí)間差和雙耳能量差; 4)將步驟3)中得到的雙耳時(shí)間差按轉(zhuǎn)向角在模板中搜索匹配的方向作為候選區(qū)域,其次在此候選區(qū)域中搜索匹配的雙耳能量差所對(duì)應(yīng)的俯仰角,利用貝葉斯分層的搜索策略獲得候選區(qū)域里所有方向中概率最大的聲音源的轉(zhuǎn)向角和俯仰角,實(shí)現(xiàn)雙耳聲音源定位。
2.如權(quán)利要求1所述的基于時(shí)延補(bǔ)償和雙耳一致性的雙耳聲音源定位方法,其特征在于,步驟I)中,轉(zhuǎn)向角采用非均勻的劃分方法,俯仰角采用均勻劃分的方式。
3.如權(quán)利要求1所述的基于時(shí)延補(bǔ)償和雙耳一致性的雙耳聲音源定位方法,其特征在于,步驟I)中,雙耳時(shí)間差的方差是根據(jù)每個(gè)轉(zhuǎn)向角上所有俯仰角的時(shí)間差統(tǒng)計(jì)得到?’雙耳能量差的均值和方差是針對(duì)每個(gè)方向進(jìn)行多次訓(xùn)練測(cè)試,統(tǒng)計(jì)結(jié)果得到。
4.如權(quán)利要求1所述的基于時(shí)延補(bǔ)償和雙耳一致性的雙耳聲音源定位方法,其特征在于,步驟I)中采用沖激函數(shù)作為聲音源與HRTF卷積或者直接利用錄入的聲音信號(hào),計(jì)算出所有方向上的雙耳時(shí)間差和雙耳能量差,并統(tǒng)計(jì)相應(yīng)的均值和方差。
5.如權(quán)利要求1所述的基于時(shí)延補(bǔ)償和雙耳一致性的雙耳聲音源定位方法,其特征在于,步驟2)中,所述預(yù)處理包括:預(yù)加重、分幀和加窗。
6.如權(quán)利要求1所述的基于時(shí)延補(bǔ)償和雙耳一致性的雙耳聲音源定位方法,其特征在于,在雙耳信號(hào)均方誤差最小的原則下進(jìn)行時(shí)延補(bǔ)償?shù)玫诫p耳能量差,利用雙耳一致性函數(shù)對(duì)GCC-TDC函數(shù)修正得到雙耳時(shí)間差。
7.如權(quán)利要求6所述的基于時(shí)延補(bǔ)償和雙耳一致性的雙耳聲音源定位方法,其特征在于,所述雙耳一致性函數(shù)的定義為:
8.如權(quán)利要求7所述的基于時(shí)延補(bǔ)償和雙耳一致性的雙耳聲音源定位方法,其特征在于,利用雙耳一致性函數(shù)判斷信號(hào)幀的可靠性,提取有效的信號(hào)幀,只有當(dāng)Σ ωΥ (κ, ω),即累計(jì)一致性大于經(jīng)驗(yàn)主義閾值Yci時(shí),該幀計(jì)算出來(lái)的雙耳特征才是有效的,否則判斷該幀為不可靠幀并作舍棄處理。
9.如權(quán)利要求7或8任一所述的基于時(shí)延補(bǔ)償和雙耳一致性的雙耳聲音源定位方法,其特征在于,根據(jù)以下公式計(jì)算雙耳時(shí)間差和雙耳能量差:
10.如權(quán)利要求1所述的基于時(shí)延補(bǔ)償和雙耳一致性的雙耳聲音源定位方法,其特征在于,步驟4)具體采用以下步驟:首先,當(dāng)一個(gè)新的聲音源出現(xiàn)時(shí),將步驟3)中得到的雙耳時(shí)間差按轉(zhuǎn)向角在模板中搜索匹配的方向,轉(zhuǎn)向角Θ 1和^可能的區(qū)域按如下規(guī)則計(jì)算:
【文檔編號(hào)】G01S5/18GK103901400SQ201410142777
【公開(kāi)日】2014年7月2日 申請(qǐng)日期:2014年4月10日 優(yōu)先權(quán)日:2014年4月10日
【發(fā)明者】劉宏, 張結(jié), 丁潤(rùn)偉 申請(qǐng)人:北京大學(xué)深圳研究生院