單個(gè)相機(jī)距離估計(jì)的制作方法
【專利摘要】用于估計(jì)到對(duì)象或特征的距離的系統(tǒng)和方法。距離估計(jì)跨越由單個(gè)相機(jī)拍攝到的圖像追蹤特征并且使用地面運(yùn)動(dòng)的估計(jì)來確定到追蹤到的特征的距離估計(jì)。
【專利說明】單個(gè)相機(jī)距離估計(jì)
【技術(shù)領(lǐng)域】
[0001]當(dāng)前的描述涉及從由單個(gè)相機(jī)拍攝到的圖像確定到對(duì)象的距離,尤其是,涉及被用于車輛中以確定到障礙物的距離的系統(tǒng)。
【背景技術(shù)】
[0002]在車輛中使用相機(jī)系統(tǒng)變得越來越常見。相機(jī)系統(tǒng)可以提供來自車輛不同位置的視野。例如,相機(jī)可用于提供盲點(diǎn)視野或者后視野以便在倒車時(shí)輔助駕駛員。
[0003]在沒有額外傳感器的情況下,難以從由單個(gè)相機(jī)拍攝到的圖像確定到對(duì)象的距離。由此,如果相機(jī)系統(tǒng)用于提供到對(duì)象的距離信息,例如,在倒車時(shí)到停放車輛的距離,則需要額外的傳感器,包括使用聲吶的測(cè)距傳感器、或者用于提供立體信息的額外相機(jī)。這些額外的傳感器可能昂貴且增加了系統(tǒng)的安裝耗時(shí)。
[0004]期望的是具有能夠提供到一個(gè)或多個(gè)對(duì)象的距離信息的單個(gè)相機(jī)系統(tǒng)。
【發(fā)明內(nèi)容】
[0005]根據(jù)本公開,提供了用于確定從安裝到車輛的相機(jī)至障礙物的距離的方法,該方法包括:跨越兩個(gè)或更多連續(xù)圖像追蹤多個(gè)特征;基于跨越兩個(gè)或更多連續(xù)圖像追蹤到的多個(gè)特征的各自的運(yùn)動(dòng)和地面運(yùn)動(dòng)估計(jì)從追蹤到的多個(gè)特征中識(shí)別離地特征;以及基于投影到地平面的、由相機(jī)拍攝到的圖像中的特征的運(yùn)動(dòng)和地面運(yùn)動(dòng)估計(jì),為多個(gè)特征中的每個(gè)離地特征計(jì)算到相機(jī)的距離。
[0006]根據(jù)本公開,還提供了用于執(zhí)行存儲(chǔ)在存儲(chǔ)器中的指令的處理器,該處理器用于確定從安裝到車輛的相機(jī)至障礙物的距離,該指令將該處理器配置成跨越兩個(gè)或更多連續(xù)圖像追蹤多個(gè)特征;基于跨越兩個(gè)或更多連續(xù)圖像追蹤到的多個(gè)特征的各自的運(yùn)動(dòng)和地面運(yùn)動(dòng)估計(jì),從追蹤到的多個(gè)特征識(shí)別離地特征;以及對(duì)于每個(gè)離地特征,基于投影到地平面的、由相機(jī)拍攝到的圖像中的特征的運(yùn)動(dòng)和地面運(yùn)動(dòng)估計(jì)計(jì)算到相機(jī)的距離。
[0007]根據(jù)本公開,還提供了用于確定對(duì)于障礙物的距離的系統(tǒng),該系統(tǒng)包括安裝到車輛的相機(jī)、用于存儲(chǔ)指令的存儲(chǔ)器、和用于執(zhí)行指令的處理器。處理器是用于在相機(jī)被安裝到車輛時(shí)確定從相機(jī)至障礙物的距離。指令將系統(tǒng)配置成跨越兩個(gè)或更多連續(xù)圖像追蹤多個(gè)特征;基于多個(gè)跨越兩個(gè)或更多連續(xù)圖像追蹤到的多個(gè)特征的各自的運(yùn)動(dòng)和地面運(yùn)動(dòng)估計(jì);以及對(duì)于每個(gè)離地特征,基于投影到地平面的、由相機(jī)拍攝到的圖像中的特征的運(yùn)動(dòng)和地面運(yùn)動(dòng)估計(jì)計(jì)算到相機(jī)的距離。
【專利附圖】
【附圖說明】
[0008]本文中參照附圖對(duì)實(shí)施方式進(jìn)行了描述,在附圖中:
[0009]圖1以示意圖示出使用單個(gè)相機(jī)估計(jì)到對(duì)象的距離的環(huán)境;
[0010]圖2以線條圖示出使用由單個(gè)相機(jī)拍攝到的圖像估計(jì)到位于地面之上的對(duì)象的距離的表示;
[0011]圖3以線條圖示出使用由單個(gè)相機(jī)拍攝到的圖像估計(jì)到位于地上的對(duì)象的距離的表示;
[0012]圖4示出用于估計(jì)到障礙物的距離的單個(gè)相機(jī)在車輛系統(tǒng)中的使用;
[0013]圖5以框圖示出用于使用單個(gè)相機(jī)估計(jì)到對(duì)象的距離的系統(tǒng)的示意性實(shí)施方式;
[0014]圖6以框圖示出使用單個(gè)相機(jī)估計(jì)到對(duì)象的距離的系統(tǒng)的另一示意性實(shí)施方式;
[0015]圖7以示意圖示出不失真的拍攝圖像與相應(yīng)的俯視圖像之間的變換;
[0016]圖8以不意圖不出輸入圖像與俯視圖像之間的關(guān)聯(lián);
[0017]圖9示出從由單個(gè)圖像拍攝裝置拍攝到的圖像確定到障礙物的距離的方法;以及
[0018]圖10以框圖示出使用單個(gè)相機(jī)估計(jì)到對(duì)象的距離的系統(tǒng)的又一示意性實(shí)施方式。
【具體實(shí)施方式】
[0019]圖1示出使用單個(gè)相機(jī)估計(jì)到對(duì)象的距離的環(huán)境的示意圖。如圖所示,環(huán)境100包括第一車輛102,第一車輛102包括用于拍攝連續(xù)圖像的相機(jī)104。車輛102被示出為沿著方向106朝第二車輛108移動(dòng)。相機(jī)104被定位成指向運(yùn)動(dòng)的方向106。圖1所示的狀態(tài)可以表示倒車進(jìn)入停車位的通常情況。由相機(jī)104拍攝到的圖像可以被呈現(xiàn)給車輛102的駕駛員以輔助駕駛員停放車輛102。除了來自相機(jī)104的圖像以外,還需要向駕駛員提供與到停放車輛108的距離‘D’有關(guān)的信息。一旦距離D被估計(jì),則其可通過多種方式被提供給駕駛員,包括在拍攝圖像的頂部重疊地顯示距離信息、提供距離D的語音通知或警報(bào)。附加地或可選地,估計(jì)的距離信息可被用于輔助駕駛員控制車輛102,例如,通過如果距離D小且車輛仍快速倒車則施加制動(dòng)。
[0020]如本文中進(jìn)一步描述的那樣,由單個(gè)相機(jī)拍攝到的圖像被處理以估計(jì)到對(duì)象的距離。被估計(jì)距離的對(duì)象將位于地面之上并且對(duì)于車輛而言如同存在有障礙物。圖像的處理將定位圖像中的點(diǎn)或特征并且使用點(diǎn)或特征的運(yùn)動(dòng)來估計(jì)現(xiàn)實(shí)世界中相應(yīng)對(duì)象的高度和到相機(jī)的距離。位于地平面上方的特征或點(diǎn)可以被識(shí)別并且用于估計(jì)到被認(rèn)為是障礙物的相應(yīng)對(duì)象的距離。
[0021]圖2以線條圖示出了使用由單個(gè)相機(jī)拍攝到的圖像來估計(jì)到位于地面之上的對(duì)象的距離的表示。圖2(A)示出了在第一次拍攝到圖像時(shí)相機(jī)204和對(duì)象202的位置,圖2(B)示出了在第二次拍攝到圖像時(shí)相機(jī)204’和對(duì)象202的位置。
[0022]在圖2中,相機(jī)為定位在地面之上已知的高度‘h’處。對(duì)象202被定位在距離相機(jī)水平距離‘d’和地面之上高度‘z’處,并且被假設(shè)為靜止的。對(duì)象202從相機(jī)的視角向地面的投影位于表觀對(duì)象位置206處。表觀對(duì)象位置206位于與對(duì)象202相比距離相機(jī)更遠(yuǎn)的水平距離‘dap’處。因相似三角形208和210,到表觀對(duì)象位置的水平距離通過下式得出:
[0023]dap = szd (I)
[0024]其中:
[0025]I = γΖζ/( 2 )
Vh
__ ci 一 d 7
[0026]因?yàn)閊~.= i。
d h — z
[0027]通過上述,可知對(duì)象從相機(jī)視角向地面的投影的表觀對(duì)象位置dap與實(shí)際對(duì)象位置d成正比,并且比例為sz。如圖2(B)中所示,當(dāng)相機(jī)移動(dòng)距離‘X’時(shí),被投影到地上的表觀對(duì)象位置移動(dòng)X’的表觀距離。假設(shè)對(duì)象的高度z保持恒定,并且取(I)的相對(duì)于時(shí)間的一階導(dǎo)數(shù),投影到地平面的對(duì)象的、相對(duì)于相機(jī)的表觀速度Vap與對(duì)象的水平速度V成正比,并且比例為Sz。
[0028]vap = szv(3)
[0029]通過⑵和(3),當(dāng)速度V和Vap已知時(shí),對(duì)象的實(shí)際高度z通過下式得出:
f \
[0030]Z= 1--h(4)。
I1J
[0031]通過(I)和(3),當(dāng)速度V和Vap已知時(shí),對(duì)象到相機(jī)的水平距離通過下式得出:
/ N
[0032]d =——d( 5 )。
[0033]通過⑷和(5),可知從相機(jī)至對(duì)象的距離可以通過由單個(gè)相機(jī)拍攝到的連續(xù)圖像確定。為了確定距離,相機(jī)的實(shí)際水平速度和對(duì)象從相機(jī)視角向地平面的投影的表觀速度應(yīng)是已知的。雖然相對(duì)于速度進(jìn)行了描述,但是應(yīng)明確,連續(xù)圖像之間的時(shí)間不是關(guān)鍵所在。由此,只要連續(xù)圖像中的對(duì)象存在足夠位移(如投影到地平面),即可確定到對(duì)象的距離。
[0034]如果對(duì)象是靜止的,則相機(jī)相對(duì)于對(duì)象的水平速度與相機(jī)自身的水平速度在大小上將是相等的。因?yàn)橄鄼C(jī)被安裝到車輛,所以相機(jī)速度將與車輛速度相等。由此,相機(jī)的速度可以通過確定車輛速度的傳感器確定。雖然能夠通過傳感器確定相機(jī)的速度,但是也能夠通過由相機(jī)拍攝到的圖像來確定速度,正如本文中將進(jìn)一步描述的那樣。
[0035]圖3以線條圖示出了使用由單個(gè)相機(jī)拍攝到的圖像估計(jì)到位于地上的對(duì)象的距離的表示。圖3(A)示出了第一次由相機(jī)位置304拍攝到的位于地上的對(duì)象,圖3(B)示出了第二次由相機(jī)位置304’拍攝到的同一個(gè)對(duì)象302。因?yàn)閷?duì)象302位于地上,所以對(duì)象向地面的投影將具有與實(shí)際對(duì)象的速度相同的速度。地面對(duì)象的速度通過下式得出:
[0036]V = d^(6)
k-k
[0037]其中:
[0038](I1 = d
[0039](7)。
[0040]d2 = d-x
[0041]結(jié)合(6)和(7),確定了地面點(diǎn)的速度與相機(jī)的速度相同:
[0042]( 8)。
At
[0043]由此,能夠通過地上的點(diǎn)的速度確定相機(jī)的速度,而相機(jī)的速度可用于計(jì)算位于地面之上的對(duì)象的實(shí)際速度。進(jìn)一步通過(3),假設(shè)所有的對(duì)象都位于地上或者位于地面之上,當(dāng)被投影到地平面時(shí)對(duì)象的實(shí)際速度將總是小于或等于對(duì)象的表觀速度,即,當(dāng)對(duì)象從相機(jī)的視點(diǎn)被投影到地平面時(shí),地面之上的對(duì)象將看似比地上的對(duì)象更快地移動(dòng)。
[0044]圖4示出了用于估計(jì)對(duì)于障礙物的距離的單個(gè)相機(jī)在車輛系統(tǒng)中的使用。在圖4中,示出了 4個(gè)對(duì)象,S卩,兩個(gè)地面對(duì)象402、404和兩個(gè)離地對(duì)象406、408。相機(jī)拍攝對(duì)象位置的圖像。圖像可以被處理以將所有的點(diǎn)從相機(jī)的視點(diǎn)投影到地平面。由此產(chǎn)生了俯視圖410,俯視圖410示出了對(duì)象402、404、406、408各自的地面投影位置A、A’、B、B’。
[0045]如圖4(B)所示,當(dāng)相機(jī)在連續(xù)拍攝圖像之間移動(dòng)距離X時(shí),投影點(diǎn)A、A’、B、B’移動(dòng)的量將取決于相應(yīng)對(duì)象在地面之上的高度。也就是說,地上的點(diǎn)將移動(dòng)相對(duì)應(yīng)的量X,而地面之上的點(diǎn)將移動(dòng)量αχ,其中α基于對(duì)象在地面之上的高度和相機(jī)在地面之上的高度。
[0046]通過圖4,可知,如果與對(duì)象相關(guān)聯(lián)的相應(yīng)點(diǎn)跨越連續(xù)的幀或圖像被追蹤到,則能夠確定點(diǎn)和相關(guān)聯(lián)的對(duì)象的速度。一旦點(diǎn)的速度被確定,則實(shí)際速度V和表觀速度Vap可以被確定。作為一個(gè)示例,實(shí)際速度可以簡(jiǎn)單地通過追蹤點(diǎn)的最小速度確定。一旦V和Vap被確定,則可以根據(jù)等式(4)和(5)確定到與點(diǎn)對(duì)應(yīng)的對(duì)象的水平距離以及該對(duì)象在地面之上的高度。應(yīng)注意,兩個(gè)等式(4)和(5)均包括速度的比率,由此,無需知道幀之間經(jīng)過的實(shí)際時(shí)間。圖5以框圖示出了使用單個(gè)相機(jī)估計(jì)到對(duì)象的距離的系統(tǒng)的示意性實(shí)施方式。系統(tǒng)500包括相機(jī)502,相機(jī)502從地面之上已知高度拍攝連續(xù)圖像。相機(jī)以已知幀速率拍攝圖像以使得連續(xù)圖像之間的時(shí)間是已知的??深A(yù)期的是相機(jī)502的幀速率可以有所不同。系統(tǒng)500還包括處理裝置504,處理裝置504被示出為包括用于執(zhí)行存儲(chǔ)在存儲(chǔ)器510中的指令508的中央處理器(CPU) 506的通用計(jì)算裝置。處理裝置可以包括用于將處理裝置504耦接至其它部件的輸入/輸出(I/O)部件512,其中其它部件包括相機(jī)。處理裝置502也可以包括用于存儲(chǔ)信息的非易失性(NV)存儲(chǔ)器514,其中信息可能包括指令508。當(dāng)指令508被CPU 506執(zhí)行時(shí),指令508將處理裝置504配置成提供距離估計(jì)部件516,距離估計(jì)部件516通過由單個(gè)相機(jī)拍攝到的連續(xù)圖像提供到對(duì)象的距離的估計(jì)。
[0047]距離估計(jì)部件516接收連續(xù)圖像,跨越圖像追蹤特征并且確定到與追蹤到的特征相對(duì)應(yīng)的對(duì)象的距離。特征可以被認(rèn)為是圍繞圖像的能夠在連續(xù)圖像中定位的點(diǎn)的小區(qū)域。距離估計(jì)部件516包括特征追蹤部件518,特征追蹤部件518跨越連續(xù)圖像定位并追蹤特征。距離估計(jì)部件516還可以包括離地特征檢測(cè)部件520,離地特征檢測(cè)部件520確定追蹤到的特征是否對(duì)應(yīng)于離地特征。離地特征檢測(cè)部件520可以使用跨越連續(xù)圖像追蹤到的特征中的每個(gè)的表觀運(yùn)動(dòng)(無論是速度還是距離)以及相機(jī)運(yùn)動(dòng)522。相機(jī)運(yùn)動(dòng)522可以通過外部裝置或傳感器提供,或者可以通過連續(xù)圖像估計(jì),正如本文中將進(jìn)一步描述的那樣。
[0048]確定為離地的追蹤到的特征可以由到對(duì)象距離估計(jì)部件524使用,其中到對(duì)象距離估計(jì)部件524使用相機(jī)運(yùn)動(dòng)524以及確定的離地特征的表觀速度來確定從相機(jī)至與離地特征相對(duì)應(yīng)的對(duì)象的距離。到對(duì)象的距離可以根據(jù)等式(4)和(5)估計(jì)。
[0049]一旦對(duì)于與追蹤到的離地特征對(duì)應(yīng)的對(duì)象的距離被確定,則信息可以多種方式被呈現(xiàn)或使用。例如,最近對(duì)象可以被確定并且距離信息可以被顯示在拍攝圖像的疊層上。雖然已就與位于地面之上的對(duì)象對(duì)應(yīng)的離地特征描述了距離估計(jì),但是可以預(yù)期的是到地上對(duì)象的距離也可以被估計(jì)。
[0050]將明確,距離估計(jì)部件500可以多種方式實(shí)現(xiàn)。多種可能的實(shí)施方式將在下面被進(jìn)一步描述,盡管其它實(shí)現(xiàn)方式也是可能的。
[0051]圖6示出了使用單個(gè)相機(jī)估計(jì)到對(duì)象的距離的系統(tǒng)的另一示意性實(shí)施方式的框圖。距離估計(jì)部件600可以提供距離估計(jì)部件516的功能。雖然未在圖6中示出,但是距離估計(jì)部件600可以被實(shí)現(xiàn)在處理裝置中,例如圖5的通用計(jì)算裝置504。距離估計(jì)部件600包括圖像變換部件602、追蹤器管理器604、一個(gè)或多個(gè)追蹤器606、平移估計(jì)部件608、離地點(diǎn)檢測(cè)器610、和到對(duì)象距離確定部件612。
[0052]與來自單個(gè)相機(jī)的視頻流的連續(xù)幀對(duì)應(yīng)的輸入圖像被提供至圖像變換部件602。圖像變換部件包括圖像失真部件614和視圖變換部件616。圖像失真部件614校正接收到的圖像的鏡頭失真。例如,廣角鏡頭可以提供可能不失真的“魚眼”圖像。不失真圖像被提供至位于地面之上已知距離處的視圖變換部件616,視圖變換部件616將由相機(jī)拍攝到的不失真圖像變換成俯視圖。俯視圖與不失真的拍攝圖像對(duì)應(yīng),其中不失真的拍攝圖像具有從相機(jī)的視點(diǎn)投影到地平面的圖像中的所有點(diǎn)。視圖變換部件616可以只將不失真的拍攝圖像中的一部分變換成俯視圖。
[0053]圖7中示出了不失真的拍攝圖像與相對(duì)應(yīng)的俯視圖之間的變換。圖7(A)以線條圖示出了由安裝到車輛的相機(jī)拍攝到的道路702的拍攝圖像700。車輛的一部分704在拍攝圖像中可以是可視的。待被變換成俯視圖的興趣區(qū)域(ROI)被示出為虛線框706。圖7(B)示出了與ROI 706對(duì)應(yīng)的俯視圖710。
[0054]通過由相對(duì)于地面傾斜的相機(jī)拍攝到的圖像生成俯視圖包括扭曲圖像使其呈現(xiàn)為從上方拍攝。圖7示出了不失真的拍攝圖像與相對(duì)應(yīng)的俯視圖之間的變換。圖7(A)以線條圖示出了由安裝到車輛的相機(jī)拍攝到的道路702的拍攝圖像700。不失真圖像校正拍攝圖像中的鏡頭失真。車輛的一部分704在拍攝圖像中可以是可視的。待被變換成俯視圖的興趣區(qū)域(ROI)被示出為虛線框706。圖7(B)示出了與ROI 706對(duì)應(yīng)的俯視圖710。
[0055]生成俯視圖意味著確定俯視圖與由圖像拍攝裝置拍攝到的傾斜的圖像之間的像素對(duì)像素映射。這種映射從概念上細(xì)分為圖8中所示的四個(gè)步驟。
[0056]1-俯視像素⑷被映射成地面⑶上的點(diǎn);
[0057]2 -地面(B)上的點(diǎn)被映射成不失真圖像平面(C)上的點(diǎn);
[0058]3 -不失真點(diǎn)(C)被映射成理想的圖像平面(D)上的該點(diǎn)失真的位置;以及
[0059]4-理想的圖像平面⑶上的失真點(diǎn)被映射成輸入圖像(E)中的像素。
[0060]選擇這種概念性分解是因?yàn)槠溽槍?duì)現(xiàn)實(shí)世界中點(diǎn)與距離提供輸入圖像或俯視圖中的點(diǎn)與距離之間的關(guān)系。在圖8中,(A)和(E)是使用像素坐標(biāo)的圖像,(C)和(D)是相機(jī)坐標(biāo)系中的圖像平面,并(B)是世界坐標(biāo)系中的地平面。
[0061]1-將俯視圖映射到地平面
[0062]俯視圖是地平面的縮放和移動(dòng)的表示。從俯視圖(A)至地平面(B)的映射是如下形式的單應(yīng)矩陣:
O K
[0063]H1= O Sy ty( 9 )。
O O I
[0064]這種變換具有與相機(jī)矩陣相同的形式,相機(jī)矩陣反映出俯視圖模仿直線向下朝向地面的虛擬相機(jī)的事實(shí)。
[0065]從俯視圖(x,y)至地面的映射隨后可通過下式得出:
[0066]IIi1(Xj) = (sxx+tx, syx+ty)(10)。
[0067]2 -將地平面映射到不失真的圖像平面
[0068]從地平面(B)至不失真的圖像平面(C)的映射通過下式得出:
^ll ^12 ^13
[0069]H1 = Kix h22 h23(11)。
Jhi ha _
[0070]這種單應(yīng)矩陣專門取決于相機(jī)在世界坐標(biāo)中的取向和位置。從地面點(diǎn)(X,Y)至不失真的圖像平面(C)的映射隨后通過下式得出:
[0071]m2 (X, Y) = (P1A)3, p2/p3)(12),
[0072]其中:
PiI
[0073]p2 =H2 Y( 13 )。
_A」 L1-
[0074]3-將不失真的圖像平面映射到失真的圖像平面
[0075]從不失真的圖像平面(C)至失真的圖像平面(D)的精確形式取決于在校準(zhǔn)相機(jī)時(shí)使用的失真模型。例如,可以使用用于補(bǔ)償徑向和切向失真的失真模型。在這種失真模型中,存在有六個(gè)徑向失真系數(shù)Gv"k6)和兩個(gè)切向失真系數(shù)(Pi,P2)。從不失真的圖像平面(C)中的點(diǎn)(x,y)至失真的圖像平面(D)的映射通過下式得出:
[0076]m3(x, y) = (Dx (x, y), Dy (x, y))(14),
[0077]其中:
[0078]Dx (x, y) = krx+2p!xy+p2 (3x2+y2),
[0079]Dy (x, y) = kry+Pi (x2+3y2) +2p2xy,
T I + r + Ic1 r + k,,rQ Q
[0080]<=1+w+v*r = x+y。
[0081]4-將失真的圖像平面映射到輸入圖像
[0082]將失真的圖像平面映射到輸入圖像涉及固有相機(jī)參數(shù)。設(shè)相機(jī)矩陣為如下:
?:()(
[0083]C=O /,, Cy(15)。
O O I
[0084]隨后,失真的圖像平面中的點(diǎn)(x,y)被映射到輸入圖像像素,該映射可通過下式得出:
[0085]m4 (x, y) = (fxx+cx, fyy+cy)(16)。
[0086]整體俯視圖至輸入圖像的映射
[0087]對(duì)于寬度w和高度h的俯視圖而言,俯視像素至輸入像素的映射通過下式得出。
[0088]對(duì)于X = 0,1,...,w-1 和 y = 0,1,...,h-1, (x,,y,) = m4(m3(m2 (Hi1 (x, y))))
(17)。
[0089]也就是說,俯視圖中的像素(X,y)被映射成輸入圖像中的像素(X’,y’)。因?yàn)楦┮晥D很少映射到輸入像素的中心,所以雙線性插值法可以被用于估計(jì)任何給定的俯視圖像素的值。
[0090]下面將對(duì)用于在輸入圖像與俯視圖之間映射的參數(shù)進(jìn)行進(jìn)一步描述。
[0091]為了確定H1的元素,所觀看地面的面積被定義。在不失一般性的情況下,世界地平面被設(shè)為Z = O平面,并且地面ROI與X軸和Y軸對(duì)齊。地面ROI可以通過其左上角(X。,Y。)、其寬度W和高度H定義。
[0092]另外,俯視圖尺寸被定義。如果俯視圖具有寬度w和高度h,則:
[0093]sx = ff/w, sy = H/h, tx = X0, ty = Y0(18)
[0094]一般,單應(yīng)矩陣H2取決于相機(jī)相對(duì)于世界坐標(biāo)系的取向和位置。因?yàn)槠涫沟孛媾c不失真的圖像平面關(guān)聯(lián),所以無論是相機(jī)矩陣還是失真系數(shù)都不能用H2做什么。地面ROI也獨(dú)立于H2。只有相機(jī)的物理定位有關(guān)系。
[0095]如上述記載,世界地平面是Z = O平面。此外,Z軸向下朝向至地面以使得直線指向地面的相機(jī)的指向?qū)⑹蛊鋤軸與世界的z軸對(duì)齊。
[0096]對(duì)于位于地面之上高度h。處的相機(jī)而言,相機(jī)被定位在世界坐標(biāo)中的
I1= [O, O, f處。因?yàn)閆軸指向地面,所以Z坐標(biāo)是負(fù)的。
[0097]相機(jī)的光學(xué)軸線通過繞著X軸反轉(zhuǎn)而傾斜遠(yuǎn)離世界Z軸。Θ的傾斜角通過下面的變換獲得:
? O O
[0098]R0= O cos 沒 sin O( 19)。
O -sin Θ Cos^
[0099]通過這種方案,Θ = O意味著相機(jī)直線指向下以使得光學(xué)軸線與世界Z軸對(duì)齊,Θ = 90意味著相機(jī)指向水平線以使得光學(xué)軸線與世界負(fù)Y軸對(duì)齊,Θ =180意味著相機(jī)直線指向上以使得光學(xué)軸線與世界負(fù)Z軸對(duì)齊。
[0100]此外,擺角可以被應(yīng)用到相機(jī)以在地平線在拍攝圖像中并不是水平時(shí)補(bǔ)償圖像。φ的擺角是通過在相機(jī)坐標(biāo)系中繞著ζ軸線旋轉(zhuǎn)而獲得的:
[0101]
cos φ -sin φ O
R - sin p cos φ 0( 20 )
00 I
[0102]相機(jī)的組合旋轉(zhuǎn)矩陣是傾斜然后擺動(dòng):
[0103]
R = RR( 21 )
[0104]設(shè)P = [X, Y, Ζ, 1]τ為點(diǎn)在世界中的齊次坐標(biāo),并且設(shè)Q為點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)。如果矢量被定義為,則從世界坐標(biāo)至相機(jī)坐標(biāo)的變換通過下式得出:
【權(quán)利要求】
1.一種用于確定從安裝到車輛的相機(jī)到障礙物的距離的方法,所述方法包括: 跨越兩個(gè)或更多連續(xù)圖像追蹤多個(gè)特征; 基于跨越兩個(gè)或更多連續(xù)圖像追蹤到的多個(gè)特征的各自的運(yùn)動(dòng)和地面運(yùn)動(dòng)估計(jì)從所述追蹤到的多個(gè)特征識(shí)別離地特征;以及 對(duì)于所述多個(gè)特征中的每個(gè)離地特征,基于投影到地平面的、由所述相機(jī)拍攝到的圖像中的特征的運(yùn)動(dòng)和所述地面運(yùn)動(dòng)估計(jì)計(jì)算到所述相機(jī)的距離。
2.如權(quán)利要求1所述的方法,還包括: 對(duì)于由所述相機(jī)拍攝到的每個(gè)圖像,通過將拍攝到的圖像投影到所述地平面來生成相應(yīng)的連續(xù)圖像。
3.如權(quán)利要求1或2所述的方法,還包括: 基于跨越所述兩個(gè)或更多連續(xù)圖像的多個(gè)追蹤到的特征的運(yùn)動(dòng)確定所述地面運(yùn)動(dòng)估計(jì)。
4.如權(quán)利要求1或2所述的方法,還包括: 將所述連續(xù)圖像中的一個(gè)圖像識(shí)別為在確定所述地面運(yùn)動(dòng)估計(jì)中使用的快照。
5.如權(quán)利要求4所述的方法,還包括:識(shí)別新的快照,所述識(shí)別新的快照包括: 確定所述連續(xù)圖像中的下一個(gè)圖像與最后識(shí)別的快照之間的、追蹤到的特征的平均位移是否超過閾值;以及 當(dāng)所述平均位移超過閾值時(shí),將所述連續(xù)圖像中的所述下一個(gè)圖像識(shí)別為所述新的快照。
6.如權(quán)利要求5所述的方法,其中,所述平均距離使用具有超過最小閾值的位移的、追蹤到的特征來確定。
7.如權(quán)利要求5或6所述的方法,還包括: 基于跨越兩個(gè)或更多連續(xù)快照的多個(gè)追蹤到的特征的運(yùn)動(dòng),確定所述地面運(yùn)動(dòng)估計(jì)。
8.如權(quán)利要求7所述的方法,其中,確定所述地面運(yùn)動(dòng)估計(jì)包括: 確定描述當(dāng)前快照與一個(gè)或多個(gè)先前快照之間的運(yùn)動(dòng)的地面運(yùn)動(dòng)參數(shù)的估計(jì),所述地面運(yùn)動(dòng)參數(shù)基于{ Θ,tx,ty}定義二維剛性變換, 其中: θ是所述相機(jī)的旋轉(zhuǎn); tx是所述相機(jī)在第一方向上的平移;以及 ty是所述相機(jī)在與所述第一方向垂直的第二方向上的平移。
9.如權(quán)利要求8所述的方法,其中,確定所述地面運(yùn)動(dòng)參數(shù)的估計(jì)包括: 使用用于確定所述地面運(yùn)動(dòng)估計(jì)的、所述多個(gè)追蹤到的特征的線性最小平方擬合將所述地面運(yùn)動(dòng)近似為近似仿射變換;以及 使用迭代牛頓-高斯方法精煉所述近似仿射變換。
10.如權(quán)利要求1至9所述的方法,其中,識(shí)別離地特征包括: 如果跨越連續(xù)圖像的特征的運(yùn)動(dòng)大于所述地面運(yùn)動(dòng)估計(jì),則將此特征識(shí)別為離地特征。
11.一種用于執(zhí)行存儲(chǔ)在存儲(chǔ)器中的指令的處理器,所述處理器用于確定從安裝到車輛的相機(jī)到障礙物的距離,所述指令將所述處理器配置成: 跨越兩個(gè)或更多連續(xù)圖像追蹤多個(gè)特征; 基于跨越兩個(gè)或更多連續(xù)圖像追蹤到的多個(gè)特征的各自的運(yùn)動(dòng)和地面運(yùn)動(dòng)估計(jì)從所述追蹤到的多個(gè)特征識(shí)別離地特征;以及 對(duì)于每個(gè)離地特征,基于投影到地平面的、由所述相機(jī)拍攝到的所述圖像中的特征的運(yùn)動(dòng)和所述地面運(yùn)動(dòng)估計(jì)計(jì)算到所述相機(jī)的距離。
12.如權(quán)利要求11所述的處理器,其中,所述指令當(dāng)被所述處理器執(zhí)行時(shí),還將所述處理器配置成: 對(duì)于由所述相機(jī)拍攝到的每個(gè)圖像,通過所述圖像投影到所述地平面來生成相應(yīng)的連續(xù)圖像。
13.如權(quán)利要求11或12所述的處理器,其中,所述指令當(dāng)被所述處理器執(zhí)行時(shí),還將所述處理器配置成: 基于跨越所述兩個(gè)或更多連續(xù)圖像的多個(gè)追蹤到的特征的運(yùn)動(dòng)確定所述地面運(yùn)動(dòng)估計(jì)。
14.如權(quán)利要求11或12所述的處理器,其中,所述指令當(dāng)被所述處理器執(zhí)行時(shí),還將所述處理器配置成: 從所述連續(xù)圖像中的一個(gè)或多個(gè)圖像生成一個(gè)或多個(gè)快照。
15.如權(quán)利要求14所述的處理器,其中,生成新的快照包括: 確定所述連續(xù)圖像中的下一個(gè)圖像與最后識(shí)別的快照之間的、追蹤到的特征的平均位移是否超過閾值;以及 當(dāng)所述平均位移超過閾值時(shí),將所述連續(xù)圖像中的所述下一個(gè)圖像識(shí)別為所述新的快照。
16.如權(quán)利要求15所述的處理器,其中,所述平均距離使用具有超過最小閾值的位移的、追蹤到的特征來確定。
17.如權(quán)利要求15或16所述的處理器,其中,所述指令當(dāng)被所述處理器執(zhí)行時(shí),還將所述處理器配置成: 基于跨越兩個(gè)或更多連續(xù)快照的多個(gè)追蹤到的特征的運(yùn)動(dòng),確定所述地面運(yùn)動(dòng)估計(jì)。
18.如權(quán)利要求17所述的處理器,其中,確定所述地面運(yùn)動(dòng)估計(jì)包括: 確定描述當(dāng)前快照與一個(gè)或多個(gè)先前快照之間的運(yùn)動(dòng)的地面運(yùn)動(dòng)參數(shù)的估計(jì),所述地面運(yùn)動(dòng)參數(shù)基于{ Θ,tx,ty}定義二維剛性變換, 其中: θ是所述相機(jī)的旋轉(zhuǎn); tx是所述相機(jī)在第一方向上的平移;以及 ty是所述相機(jī)在與所述第一方向垂直的第二方向上的平移。
19.如權(quán)利要求18所述的處理器,其中,確定所述地面運(yùn)動(dòng)參數(shù)的估計(jì)包括: 使用用于確定所述地面運(yùn)動(dòng)估計(jì)的、所述多個(gè)追蹤到的特征的線性最小平方擬合將所述地面運(yùn)動(dòng)近似為近似仿射變換;以及 使用迭代牛頓-高斯方法精煉所述近似仿射變換。
20.如權(quán)利要求11至19所述的處理器,其中識(shí)別離地特征包括: 如果跨越連續(xù)圖像的特征的運(yùn)動(dòng)大于所述地面運(yùn)動(dòng)估計(jì),則將所述特征識(shí)別為離地特征。
21.一種用于確定到障礙物的距離的系統(tǒng),所述系統(tǒng)包括: 相機(jī),待被安裝到車輛; 存儲(chǔ)器,用于存儲(chǔ)指令;以及 處理器,用于執(zhí)行指令,當(dāng)所述相機(jī)被安裝到所述車輛時(shí),所述處理器用于確定從所述相機(jī)至障礙物的距離,所述指令將所述系統(tǒng)配置成: 跨越兩個(gè)或更多連續(xù)圖像追蹤多個(gè)特征; 基于跨越兩個(gè)或更多連續(xù)圖像追蹤到的多個(gè)特征的各自的運(yùn)動(dòng)和地面運(yùn)動(dòng)估計(jì)從所述追蹤到的多個(gè)特征識(shí)別離地特征;以及 對(duì)于每個(gè)離地特征,基于投影到地平面的、由所述相機(jī)拍攝到的圖像中的特征的運(yùn)動(dòng)和所述地面運(yùn)動(dòng)估計(jì)計(jì)算到所述相機(jī)的距離。
【文檔編號(hào)】G01C3/00GK104204721SQ201380016569
【公開日】2014年12月10日 申請(qǐng)日期:2013年2月27日 優(yōu)先權(quán)日:2012年2月28日
【發(fā)明者】盧克·馬特爾, 杰弗里·拉倫德, 羅伯特·拉加尼爾勒 申請(qǐng)人:科格尼維公司