基于單目視覺和慣性導(dǎo)航單元的實(shí)時(shí)車道線檢測(cè)系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于單目視覺和慣性導(dǎo)航單元的實(shí)時(shí)車道線檢測(cè)系統(tǒng)，該系統(tǒng)主要包括離線標(biāo)定和在線投影變化模塊、慣性導(dǎo)航單元模塊、單幀車道線檢測(cè)模塊和基于慣性導(dǎo)航單元的多幀車道線關(guān)聯(lián)校驗(yàn)?zāi)K，實(shí)現(xiàn)對(duì)城區(qū)環(huán)境的路面多車道地實(shí)時(shí)精確的檢測(cè)，該車道線檢測(cè)系統(tǒng)，可適應(yīng)于光照變化、障礙物遮擋、大曲率、虛實(shí)線、多車道等不同路況和道路類型，實(shí)現(xiàn)多種環(huán)境下的車道線穩(wěn)定且長(zhǎng)距離的檢測(cè)感知。本系統(tǒng)采用的低成本低功耗的導(dǎo)航設(shè)備、圖像采集設(shè)備及計(jì)算平臺(tái)，可廣泛應(yīng)用于無(wú)人駕駛汽車視覺導(dǎo)航、智能車視覺輔助駕駛等領(lǐng)域。
【專利說明】基于單目視覺和慣性導(dǎo)航單元的實(shí)時(shí)車道線檢測(cè)系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬計(jì)算機(jī)視覺與智能交通領(lǐng)域，涉及一種城區(qū)環(huán)境下車道線檢測(cè)系統(tǒng)，尤其是一種基于單目視覺和慣性導(dǎo)航單元開發(fā)的實(shí)時(shí)城區(qū)多車道車道線檢測(cè)系統(tǒng)。
【背景技術(shù)】
[0002]智能車輛(Intelligent Vehicle, IV)是一個(gè)集環(huán)境感知、動(dòng)態(tài)決策與規(guī)劃、智能控制與執(zhí)行等多功能于一體的綜合系統(tǒng)，是衡量一個(gè)國(guó)家整體科研實(shí)力和工業(yè)水平的重要標(biāo)志。作為智能車三大關(guān)鍵技術(shù)之一的環(huán)境感知技術(shù)，現(xiàn)階段以主動(dòng)傳感激光、雷達(dá)及結(jié)構(gòu)光為主的傳感系統(tǒng)，已經(jīng)取得了部分成功的應(yīng)用，但該類傳感器存在功耗大、體積大、造價(jià)昂貴等問題，制約了其在智能車技術(shù)研發(fā)和應(yīng)用上的推廣。而被動(dòng)可見光傳感，即相機(jī)，則在功耗、體積、造價(jià)方面具有顯著優(yōu)勢(shì)。近年來，大量研究團(tuán)隊(duì)和機(jī)構(gòu)在利用可見光傳感完成交通場(chǎng)景感知方面做出了很多卓有成效的研究，基于視覺的車道和障礙物感知成為該領(lǐng)域的研究熱點(diǎn)。
[0003]常見的基于相機(jī)的車道線檢測(cè)系統(tǒng)，因?yàn)閮H利用圖像信息，無(wú)法解決在光照突變、障礙物近距離遮擋、車道換道等過程中，相機(jī)無(wú)法采集到包含足夠車道信息的圖像時(shí)而出現(xiàn)的漏檢、誤檢等問題，難以具備長(zhǎng)時(shí)間長(zhǎng)距離穩(wěn)定運(yùn)行性能，限制該類系統(tǒng)僅在特定環(huán)境下具備應(yīng)用可能性。因此，如何設(shè)計(jì)實(shí)現(xiàn)一套能盡可能充分利用圖像信息、適應(yīng)系統(tǒng)的各類外部環(huán)境變化和車體姿態(tài)變化，能長(zhǎng)時(shí)間長(zhǎng)距離穩(wěn)定運(yùn)行，同時(shí)又具有低成本、低功耗、高移植性的車道線檢測(cè)系統(tǒng)以滿足無(wú)人駕駛、汽車輔助駕駛等領(lǐng)域應(yīng)用需求已成為實(shí)時(shí)車道檢測(cè)的研究熱點(diǎn)之一。
【發(fā)明內(nèi)容】
[0004]本發(fā)明的目的在于提供一種基于單目視覺和慣性導(dǎo)航單元的實(shí)時(shí)車道線檢測(cè)系統(tǒng)。
[0005]為了實(shí)現(xiàn)上述目的，本發(fā)明采取了如下的技術(shù)方案:
[0006]基于單目視覺和慣性導(dǎo)航單元的實(shí)時(shí)城區(qū)多車道車道線檢測(cè)系統(tǒng)，其特征在于:該實(shí)時(shí)車道線檢測(cè)系統(tǒng)包括離線標(biāo)定及在線投影變化模塊Ml、慣性導(dǎo)航單元模塊M2、單幀車道線檢測(cè)模塊M3、多幀車道線關(guān)聯(lián)校驗(yàn)?zāi)KM4 ;離線標(biāo)定及在線投影變化模塊Ml用于采集圖像信號(hào)，并完成相對(duì)于車前平面的單應(yīng)性投影變化，獲取車前圖像俯視圖；慣性導(dǎo)航單元模塊M2用于測(cè)量車體相對(duì)于初始位置的姿態(tài)變化；單幀車道線檢測(cè)模塊M3用于進(jìn)行單幀圖像的車道線檢測(cè)；多幀車道線關(guān)聯(lián)校驗(yàn)?zāi)KM4用于關(guān)聯(lián)當(dāng)前幀和歷史幀車道線數(shù)據(jù)，對(duì)當(dāng)前檢測(cè)結(jié)果進(jìn)行校驗(yàn)，并提供預(yù)測(cè)，給出準(zhǔn)確的當(dāng)前時(shí)刻多車道檢測(cè)可視化結(jié)果和參數(shù)描述方程。
[0007]所述離線標(biāo)定及在線投影變化模塊Ml包括進(jìn)行相機(jī)內(nèi)參和外參的離線標(biāo)定模塊Mll和平面投影變換模塊M12 ;離線標(biāo)定模塊Mll利用特征標(biāo)記點(diǎn)求取相機(jī)攝像頭內(nèi)部屬性參數(shù)和相機(jī)相對(duì)于車體坐標(biāo)的外部位置參數(shù)；平面投影變換模塊M12在線采集RGB圖像，并利用計(jì)算得到的相機(jī)內(nèi)部參數(shù)和外部參數(shù)，將圖像轉(zhuǎn)變?yōu)楦┮暺矫鎴D(IPM，InversePerspective Mapping),并進(jìn)行色度空間轉(zhuǎn)換后獲取灰度圖。
[0008]所述的慣性導(dǎo)航單元模塊M2根據(jù)速度傳感器和光纖陀螺測(cè)量車體在當(dāng)前時(shí)刻的速度脈沖和轉(zhuǎn)向角，利用融合濾波輸出的速度、航向和航跡位置推算算法，估計(jì)基于該慣性導(dǎo)航單元(INU, Inertial Navigation Unit)定義的局部坐標(biāo)下的車體位姿,提供了高精度的平滑的連續(xù)局部車體位姿估計(jì)。
[0009]所述的單幀車道線檢測(cè)模塊M3基于車道線部分圖像像素高于路面區(qū)域的基本假設(shè)提取出可能的車道線信息；利用多條車道線之間的平行性，以及多幀圖像間的關(guān)聯(lián)，以及歷史幀檢測(cè)結(jié)果提供的興趣區(qū)域，剔除非車道線信息，完成單幀圖像中的車道線檢測(cè)。
[0010]所述的多幀車道線關(guān)聯(lián)校驗(yàn)?zāi)KM4利用連續(xù)的前一時(shí)刻和當(dāng)前時(shí)刻兩個(gè)感知時(shí)刻的車體位姿測(cè)量信息，和對(duì)應(yīng)的車道線檢測(cè)結(jié)果，判斷兩幀結(jié)果在空間位置關(guān)系上是否符合兩幀車體位姿測(cè)量信息描述的變化關(guān)系，即將歷史幀檢測(cè)結(jié)果按照兩幀的車體位姿變化關(guān)系變化到當(dāng)前時(shí)刻，得到其在當(dāng)前車體位姿下的參數(shù)形式，再與當(dāng)前幀車道線檢測(cè)結(jié)果進(jìn)行匹配，若符合，則判定當(dāng)前幀檢測(cè)結(jié)果可接受，否則，拋棄當(dāng)前幀結(jié)果，以轉(zhuǎn)換后的歷史幀結(jié)果作為當(dāng)前時(shí)刻的檢測(cè)結(jié)果，并用該最終結(jié)果生成下一時(shí)刻的預(yù)測(cè)興趣區(qū)域；同時(shí)，利用多幀檢測(cè)結(jié)果和三車道語(yǔ)義模型，完善檢測(cè)結(jié)果的語(yǔ)義信息，提供車道線的虛實(shí)線、車體相對(duì)位置等信息。
[0011]通過以上四大模塊，本發(fā)明基于單目視覺和慣性導(dǎo)航單元的實(shí)時(shí)車道線檢測(cè)系統(tǒng)實(shí)現(xiàn)對(duì)城區(qū)環(huán)境下的路面車道線的檢測(cè)，利用車體位姿信息關(guān)聯(lián)校驗(yàn)連續(xù)多幀車道線檢測(cè)結(jié)果，完善車道的語(yǔ)義信息描述，并提供下一時(shí)刻的興趣區(qū)域，實(shí)現(xiàn)連續(xù)穩(wěn)定的多車道檢測(cè)。
[0012]該系統(tǒng)主要包括離線標(biāo)定及在線投影變化模塊、慣性導(dǎo)航單元模塊、單幀車道線檢測(cè)模塊和基于慣性導(dǎo)航單元的多幀車道線關(guān)聯(lián)校驗(yàn)?zāi)K，實(shí)現(xiàn)對(duì)城區(qū)環(huán)境的路面多車道進(jìn)行實(shí)時(shí)精確的檢測(cè)。該車道線檢測(cè)系統(tǒng)，可適應(yīng)于光照變化、障礙物遮擋、大曲率、虛實(shí)線、多車道等不同路況和道路類型，實(shí)現(xiàn)多種環(huán)境下的車道線穩(wěn)定且長(zhǎng)距離的檢測(cè)感知。該系統(tǒng)包括如下部分:可見光傳感器為Basler Scout sca640_74gc以太網(wǎng)接口數(shù)字相機(jī),配備ComputarSmm定焦手動(dòng)光圈百萬(wàn)像素鏡頭；慣性導(dǎo)航單元包括光纖陀螺和速度傳感器；系統(tǒng)計(jì)算負(fù)載在車載的刀片服務(wù)器cPC1-6910上進(jìn)行；所有模塊間通過千兆以太網(wǎng)，以UDP數(shù)據(jù)包方式進(jìn)行通信。系統(tǒng)能夠以每秒IOHZ的頻率穩(wěn)定提供車載相機(jī)前50m (>=50m)范圍內(nèi)的三車道(左側(cè)車道、當(dāng)前車道、右側(cè)車道)的車道線檢測(cè)結(jié)果，并給出車道線的虛實(shí)線屬性，滿足系統(tǒng)的多車道檢測(cè)和實(shí)時(shí)檢測(cè)性能要求。系統(tǒng)成本低廉、功耗低，且具有較高的整體移植性，適合批量推廣應(yīng)用。
[0013]該車道線檢測(cè)系統(tǒng)工作原理:離線標(biāo)定及在線投影變化模塊，利用三線標(biāo)定法和加州大學(xué)標(biāo)定工具箱完成相機(jī)的外參和內(nèi)參標(biāo)定，通過Basler Scout sca640_74gc數(shù)字相機(jī)實(shí)時(shí)采集當(dāng)前道路圖像，并依據(jù)內(nèi)外參數(shù)進(jìn)行逆投影變化(Inverse PerspectiveMapping, IPM)，獲取路面的俯視圖像；慣性導(dǎo)航單元模塊，實(shí)時(shí)獲取光纖陀螺的角度測(cè)量，以及速度傳感器的轉(zhuǎn)向脈沖測(cè)量，以濾波融合算法和航跡位置推算算法估計(jì)出車輛當(dāng)前的姿態(tài)和位置(相對(duì)于系統(tǒng)初始時(shí)刻)；單幀車道線檢測(cè)模塊，基于車道線的局部高亮特性和平行性約束，并進(jìn)行圖像空間的幀間關(guān)聯(lián)，獲取當(dāng)前幀的車道線檢測(cè)結(jié)果；多幀車道線關(guān)聯(lián)校驗(yàn)?zāi)K，接收單幀車道線檢測(cè)模塊結(jié)果和慣性導(dǎo)航單元模塊的連續(xù)多幀車體位姿測(cè)量結(jié)果，利用歷史幀及當(dāng)前幀車道線檢測(cè)結(jié)果和兩幀對(duì)應(yīng)的車體位姿測(cè)量，將歷史幀結(jié)果與當(dāng)前幀結(jié)果進(jìn)行校驗(yàn)，獲取得到校驗(yàn)過的最終車道線檢測(cè)結(jié)果，并將校驗(yàn)后的結(jié)果用于生成下一時(shí)刻的預(yù)測(cè)區(qū)域。
[0014]本發(fā)明的特點(diǎn)是采用Basler工業(yè)相機(jī)和光纖陀螺及速度傳感器構(gòu)成的低成本高精度的車道線檢測(cè)系統(tǒng)，實(shí)現(xiàn)對(duì)城區(qū)環(huán)境的多車道檢測(cè)。
[0015]與已有技術(shù)相比，本發(fā)明的技術(shù)效果體現(xiàn)在:
[0016]1.與傳統(tǒng)的車道線檢測(cè)系統(tǒng)相比，本發(fā)明充分利用了圖像數(shù)據(jù)和車體位姿數(shù)據(jù)信息，利用車體位姿數(shù)據(jù)與圖像數(shù)據(jù)的時(shí)間對(duì)準(zhǔn)，完成多幀車道線之間的空間對(duì)準(zhǔn)，有效解決了在高速轉(zhuǎn)向、光照突變等極端環(huán)境下車道線丟失或短時(shí)無(wú)車道線觀測(cè)時(shí)的穩(wěn)定檢測(cè)，極大地提高了系統(tǒng)的適應(yīng)性。
[0017]2.本發(fā)明開發(fā)了一套低成本高精度的車體局部位姿測(cè)量系統(tǒng)，利用融合濾波和航跡推算原理，剔除觀測(cè)測(cè)量中的噪聲數(shù)據(jù)，減小推算累積誤差，提供連續(xù)平滑的局部車體定位。
[0018]3.本發(fā)明由Basler工業(yè)相機(jī)、速度傳感器和光纖陀螺構(gòu)成，具有低成本的特點(diǎn)?！緦＠綀D】
【附圖說明】
[0019]圖1為本發(fā)明的系統(tǒng)硬件關(guān)系圖。
[0020]圖2為本發(fā)明的軟件系統(tǒng)框架圖。
[0021]圖3為本發(fā)明定義的三車道模型圖。
[0022]圖4為本發(fā)明的基于慣性導(dǎo)航單元的局部位姿測(cè)量系統(tǒng)框架圖。
[0023]圖5為本發(fā)明定義的車體模型和航跡推算原理圖。
[0024]圖6為本發(fā)明的基于慣性導(dǎo)航單元的局部位姿測(cè)量系統(tǒng)的測(cè)量精度與差分GPS精度的對(duì)比。
[0025]圖7為本發(fā)明定義的局部坐標(biāo)系與車體坐標(biāo)系關(guān)系。
[0026]圖8為本發(fā)明采用的線性插值位姿對(duì)準(zhǔn)算法框圖。
[0027]圖9為本發(fā)明的單幀車道線檢測(cè)模塊和多幀車道線關(guān)聯(lián)校驗(yàn)?zāi)K系統(tǒng)框架圖。
[0028]圖10為本發(fā)明的車道線檢測(cè)結(jié)果顯示圖和對(duì)應(yīng)興趣區(qū)域。
[0029]圖11為本發(fā)明的單幀車道線檢測(cè)和多幀車道線關(guān)聯(lián)校驗(yàn)檢測(cè)中間結(jié)果圖。
[0030]圖12為本發(fā)明的單幀車道線檢測(cè)部分的車道線平行性篩選規(guī)則說明圖。
[0031]圖13為本發(fā)明的興趣區(qū)域拓展規(guī)則說明圖。
【具體實(shí)施方式】
[0032]以下結(jié)合附圖對(duì)本發(fā)明作詳細(xì)說明。
[0033]參見圖1，基于單目視覺和慣性導(dǎo)航單元的實(shí)時(shí)城區(qū)多車道的傳感配置及安裝在西安交通大學(xué)夸父一號(hào)智能車的整體硬件連接關(guān)系圖如圖所示。系統(tǒng)由如下幾類子系統(tǒng)構(gòu)成:1.電源系統(tǒng):由Yamaha發(fā)電機(jī)提供220V交流電源，從UPS中轉(zhuǎn)輸出，除傳感器本身需要使用額外電源模塊完成變壓外，其他設(shè)備均具有配套獨(dú)立的變壓設(shè)備；2.傳感系統(tǒng):單目相機(jī)配置為:德產(chǎn)Basler數(shù)字相機(jī)，型號(hào):SCA640-74gC，;鏡頭為日產(chǎn)Computar百萬(wàn)像素固定焦距鏡頭，型號(hào):M0814-MP ;慣性導(dǎo)航單元配置為車載速度傳感器和光纖陀螺DSP3000 ；
3.通信系統(tǒng):當(dāng)前系統(tǒng)的通信數(shù)據(jù)包括1.輸入:圖像數(shù)據(jù)，同步時(shí)間戳數(shù)據(jù)(規(guī)劃刀片發(fā)送)、同步車體位姿數(shù)據(jù)(位姿刀片發(fā)送);2.輸出:圖像處理結(jié)果。除圖像數(shù)據(jù)外，所有其他的數(shù)據(jù)均是無(wú)連接的UDP數(shù)據(jù)包。為避免大量圖像數(shù)據(jù)的傳輸阻塞整體的通信鏈路、加重通信負(fù)荷，圖像數(shù)據(jù)的傳輸采用單獨(dú)的通信鏈路，以DLink交換機(jī)進(jìn)行圖像數(shù)據(jù)的交換，依據(jù)不同的網(wǎng)段決定Basler相機(jī)與對(duì)應(yīng)刀片服務(wù)器的連接，速度傳感器和光纖陀螺的數(shù)據(jù)以UDP包形式，通過串口發(fā)送至位姿模塊刀片服務(wù)器，其余UDP包均通過華為24 口交換機(jī)S1024R-CN通信；4.計(jì)算平臺(tái)，所有計(jì)算工作均在型號(hào)為cPC1-6910的CORE XEON DUAL級(jí)處理器刀片服務(wù)器運(yùn)行。
[0034]系統(tǒng)整體安裝在豐田漢蘭達(dá)(Toyota，Highlander)SUV原型車上。其中，該單目相機(jī)sca640-74gc安裝在車頂,位于車駕駛室上方,并安裝有UV濾光片和防雨罩；速度傳感器為漢蘭達(dá)出廠自帶原車傳感器，光纖陀螺DSP3000安裝在車后座中間；刀片cPC1-6910安裝在車主駕駛后方的整體機(jī)柜上。
[0035]參見圖2，系統(tǒng)的軟件系統(tǒng)框架整體包括所述的4個(gè)主要功能模塊。離線標(biāo)定及在線投影變化模塊Ml包括進(jìn)行相機(jī)內(nèi)參和外參的離線標(biāo)定部分M11，和平面投影變換部分M12;離線標(biāo)定部分利用特征標(biāo)記點(diǎn)求取相機(jī)攝像頭內(nèi)部屬性參數(shù)，和三線標(biāo)定法求取攝像機(jī)相對(duì)于車體坐標(biāo)的外部位置參數(shù)；在線投影變換部分在線采集RGB圖像，并利用計(jì)算得到的內(nèi)部參數(shù)和外部參數(shù)，將圖像轉(zhuǎn)變?yōu)楦┮暺矫鎴D(IPM, Inverse PerspectiveMapping)，并進(jìn)行色度空間轉(zhuǎn)換后獲取灰度圖。慣性導(dǎo)航單元模塊M2根據(jù)速度傳感器和光纖陀螺測(cè)量的車體在當(dāng)前時(shí)刻的速度脈沖和轉(zhuǎn)向角，利用融合濾波估計(jì)基于該慣性導(dǎo)航單元(INU, Inertial Navigation Unit)定義的局部坐標(biāo)下的車體位姿，并配合ICP(iterative closet point)算法融合車體局部位姿和GPS坐標(biāo)下的全局位姿,提供了高精度的平滑的連續(xù)車體位姿估計(jì)。單幀車道線檢測(cè)模塊M3基于車道線部分圖像像素高于路面區(qū)域的基本假設(shè)提取出可能的車道線信息；利用多條車道線之間的平行性，以及多幀圖像間的關(guān)聯(lián)，以及歷史幀檢測(cè)結(jié)果提供的興趣區(qū)域，剔除非車道線信息，完成單幀圖像中的車道線檢測(cè)。多幀車道線關(guān)聯(lián)校驗(yàn)?zāi)KM4利用連續(xù)的前一時(shí)刻和當(dāng)前時(shí)刻兩個(gè)感知時(shí)刻的車體位姿測(cè)量信息，和對(duì)應(yīng)的車道線檢測(cè)結(jié)果，判斷兩幀結(jié)果在空間位置關(guān)系上是否符合兩幀車體位姿測(cè)量信息描述的變化關(guān)系，即將歷史幀檢測(cè)結(jié)果按照兩幀的車體位姿變化關(guān)系變化到當(dāng)前時(shí)刻，得到其在當(dāng)前車體位姿下的參數(shù)形式，再與當(dāng)前幀車道線檢測(cè)結(jié)果進(jìn)行匹配，若符合，則判定當(dāng)前幀檢測(cè)結(jié)果可接受，否則，拋棄當(dāng)前幀結(jié)果，以轉(zhuǎn)換后的歷史幀結(jié)果作為當(dāng)前時(shí)刻的檢測(cè)結(jié)果，并用該最終結(jié)果生成下一時(shí)刻的預(yù)測(cè)興趣區(qū)域；同時(shí)，利用多幀檢測(cè)結(jié)果和三車道車道語(yǔ)義模型，完善檢測(cè)結(jié)果的語(yǔ)義信息，提供車道線的虛實(shí)線、車體相對(duì)位置等信息。
[0036]參見圖3，為簡(jiǎn)化車道線檢測(cè)，本發(fā)明需滿足如下基本假設(shè):1)平坦路面假設(shè):該假設(shè)保證了 IPM的可行性，同時(shí)將INU原本的6D測(cè)量(X，y，Z, θ，α，β )簡(jiǎn)化為3D測(cè)量(x, Y, Θ)，其中(x，y，z)代表了 GPS定義的全局坐標(biāo)的車體位置測(cè)量，Θ代表相機(jī)的方向角，α代表俯仰角，β代表滾動(dòng)角；2)任一兩條車道線保持基本平行，且其車道寬度變化緩慢；3) INU模塊具備滿足車道線檢測(cè)的精度；4)車道模型符合假定的3車道模型，LI代表車體當(dāng)前所在車道的左側(cè)車道線，Rl代表當(dāng)前所在車道的右側(cè)車道線，L2和R2以此類推，同時(shí)每根車道線具有虛實(shí)線屬性。
[0037]參見圖4，位姿測(cè)量系統(tǒng)框圖如圖。該慣性導(dǎo)航單元的局部位姿測(cè)量系統(tǒng)基于航跡推算算法設(shè)計(jì)，利用實(shí)時(shí)的速度和航向推算出載體的局部位姿信息。里程計(jì)的原始速度輸出和陀螺的原始航向輸出在位置推算前先進(jìn)行預(yù)處理，消除速度和航向的測(cè)量誤差，從而提高航跡推算的精度。
[0038]參見圖5,航跡推算(Dead Reckoning)原理如圖所示。航跡推算利用車載傳感器提供的速度和姿態(tài)信息，根據(jù)載體前一時(shí)刻的位置來推算當(dāng)前時(shí)刻的位置。航跡推算定位完全依靠載體內(nèi)部傳感器輸出的信息進(jìn)行位置推算，是一種完全獨(dú)立的局部定位系統(tǒng)。假設(shè)車體在二維平面內(nèi)運(yùn)動(dòng)，速度傳感器讀取的是車體前輪轉(zhuǎn)速信息，選取車體坐標(biāo)系原點(diǎn)位于車體后軸中心，車轉(zhuǎn)彎時(shí)后輪速度是前輪速度沿車體方向的分量。由傳感器信息可以讀取車前輪轉(zhuǎn)角S?？紤]車前輪轉(zhuǎn)角后，速度輸出在車體坐標(biāo)系下分解為:
[0039]1；/) =[i;/)sinc> vn cosd'j^
[0040]車體實(shí)時(shí)位置信息根據(jù)前后兩幀的速度傳感器和陀螺航向角求均值后實(shí)時(shí)累加積分獲得。[k_l，k]時(shí)間內(nèi)相對(duì)位移表示為:ADk=ATtkU (VlrfCos a J^vkCOS a k)/2,航向角相對(duì)變化量為:Λ Θ k= Θ k- Θ k_1D其中由獲得前后兩幀數(shù)據(jù)的時(shí)間差得到，航向角Θ由陀螺實(shí)時(shí)給出，vk，VkH由速度傳感器給出，前輪偏角Qk-P ak由偏角傳感器給出。航跡推算公式為:
【權(quán)利要求】
1.一種基于單目視覺和慣性導(dǎo)航單元的實(shí)時(shí)車道線檢測(cè)系統(tǒng)，其特征在于:該實(shí)時(shí)車道線檢測(cè)系統(tǒng)包括離線標(biāo)定及在線投影變化模塊Ml、慣性導(dǎo)航單元模塊M2、單幀車道線檢測(cè)模塊M3以及多幀車道線關(guān)聯(lián)校驗(yàn)?zāi)KM4 ； 離線標(biāo)定及在線投影變化模塊Ml用于采集圖像信號(hào)，并完成相對(duì)于車前平面的單應(yīng)性投影變化，獲取車前圖像俯視圖； 慣性導(dǎo)航單元模塊M2用于測(cè)量車體相對(duì)于初始位置的姿態(tài)變化； 單幀車道線檢測(cè)模塊M3用于進(jìn)行單幀圖像的車道線檢測(cè)； 多幀車道線關(guān)聯(lián)校驗(yàn)?zāi)KM4用于關(guān)聯(lián)當(dāng)前幀和歷史幀車道線數(shù)據(jù)，對(duì)當(dāng)前檢測(cè)結(jié)果進(jìn)行校驗(yàn)，給出準(zhǔn)確的當(dāng)前時(shí)刻多車道檢測(cè)可視化結(jié)果和參數(shù)描述方程，并提供預(yù)測(cè)。
2.根據(jù)權(quán)利要求1所述一種基于單目視覺和慣性導(dǎo)航單元的實(shí)時(shí)車道線檢測(cè)系統(tǒng)，其特征在于:所述離線標(biāo)定及在線投影變化模塊Ml包括進(jìn)行相機(jī)內(nèi)參和外參的離線標(biāo)定模塊Mll和平面投影變換模塊M12 ;離線標(biāo)定模塊Mll利用特征標(biāo)記點(diǎn)求取相機(jī)攝像頭內(nèi)部屬性參數(shù)和相機(jī)相對(duì)于車體坐標(biāo)的外部位置參數(shù)；平面投影變換模塊M12在線采集RGB圖像，并利用計(jì)算得到的相機(jī)內(nèi)部參數(shù)和外部參數(shù)，將圖像轉(zhuǎn)變?yōu)楦┮暺矫鎴D，并進(jìn)行色度空間轉(zhuǎn)換后獲取灰度圖。
3.根據(jù)權(quán)利要求1所述一種基于單目視覺和慣性導(dǎo)航單元的實(shí)時(shí)車道線檢測(cè)系統(tǒng)，其特征在于:所述慣性導(dǎo)航單元模塊M2根據(jù)速度傳感器和光纖陀螺測(cè)量的車體在當(dāng)前時(shí)刻的速度脈沖和轉(zhuǎn)向角，利用融合濾波輸出的速度、航向和航跡位置推算算法，估計(jì)慣性導(dǎo)航單元定義的局部坐標(biāo)下的平滑的連續(xù)局部車體位姿。
4.根據(jù)權(quán)利要求1所述一種基于單目視覺和慣性導(dǎo)航單元的實(shí)時(shí)車道線檢測(cè)系統(tǒng)，其特征在于:所述單幀車道線檢測(cè)模塊M3基于車道線部分圖像像素高于路面區(qū)域的基本假設(shè)提取出可能的車道線信息；利用多條車道線之間的平行性，以及多幀圖像間的關(guān)聯(lián)，以及歷史幀檢測(cè)結(jié)果提供的興趣區(qū)域，剔除非車道線信息，完成單幀圖像中的車道線檢測(cè)。
5.根據(jù)權(quán)利要求1所述一種基于單目視覺和慣性導(dǎo)航單元的實(shí)時(shí)車道線檢測(cè)系統(tǒng)，其特征在于:所述多幀車道線關(guān)聯(lián)校驗(yàn)?zāi)KM4利用連續(xù)的前一時(shí)刻和當(dāng)前時(shí)刻兩個(gè)感知時(shí)刻的車體位姿測(cè)量信息，和對(duì)應(yīng)的車道線檢測(cè)結(jié)果，判斷兩幀結(jié)果在空間位置關(guān)系上是否符合兩幀車體位姿測(cè)量信息描述的變化關(guān)系，即將歷史幀檢測(cè)結(jié)果按照兩幀的車體位姿變化關(guān)系變化到當(dāng)前時(shí)刻，得到其在當(dāng)前車體位姿下的參數(shù)形式，再與當(dāng)前幀車道線檢測(cè)結(jié)果進(jìn)行匹配，若符合，則判定當(dāng)前幀檢測(cè)結(jié)果可接受，否則，拋棄當(dāng)前幀結(jié)果，以轉(zhuǎn)換后的歷史幀結(jié)果作為當(dāng)前時(shí)刻的檢測(cè)結(jié)果，并用該最終結(jié)果生成下一時(shí)刻的預(yù)測(cè)興趣區(qū)域；同時(shí)，利用多幀檢測(cè)結(jié)果和三車道語(yǔ)義模型，完善檢測(cè)結(jié)果的語(yǔ)義信息，提供車道線的虛實(shí)線、車體相對(duì)位置信息。
【文檔編號(hào)】G01C21/28GK103940434SQ201410129551
【公開日】2014年7月23日 申請(qǐng)日期:2014年4月1日 優(yōu)先權(quán)日:2014年4月1日
【發(fā)明者】薛建儒, 崔迪瀟, 沈雅清, 宋曄, 張耿, 杜少毅 申請(qǐng)人:西安交通大學(xué)
山東科威數(shù)控機(jī)床有限公司銑床官方網(wǎng)站今天是：2024-10-23切換城市[全國(guó)]-網(wǎng)站地圖
專業(yè)數(shù)控銑床產(chǎn)品供應(yīng)商
20年生產(chǎn)經(jīng)驗(yàn)，實(shí)力工廠，精工品質(zhì)，質(zhì)量有保障
