專利名稱:測量設(shè)備和測量方法
技術(shù)領(lǐng)域:
本申請描述的實(shí)施例總體上涉及一種測量設(shè)備和一種測量方法。
背景技術(shù):
迄今為止,已經(jīng)知道一種從由具有不同視點(diǎn)的多個相機(jī)拍攝的多幅圖像之間的對應(yīng)關(guān)系來測量對象的三維位置的技術(shù),該技術(shù)被稱為立體測量。例如,按照如下方式來測量三維位置。從多幅圖像中選擇一對圖像,并且從所選擇圖像上的測量點(diǎn)的位置與拍攝所選擇圖像的相機(jī)的位置之間的位置關(guān)系來測量三維位置。然而,測量精確度根據(jù)相機(jī)的位置、鏡頭的焦距、成像元件的尺寸、分辨率以及圖像上的測量點(diǎn)的位置而不同。為此原因,為了提高三維位置的測量精確度,需要選擇與測量點(diǎn)相關(guān)聯(lián)的最佳圖像對。然而,根據(jù)傳統(tǒng)技術(shù),由于從多幅圖像中選擇與特定圖像相關(guān)聯(lián)的最佳圖像,從而不能選擇不包括該特定圖像的圖像對。為此原因,不能選擇與測量點(diǎn)相關(guān)聯(lián)的最佳圖像對,導(dǎo)致三維位置的測量精確度變差。
發(fā)明內(nèi)容
實(shí)施例的目的是提供一種能夠提高三維位置的測量精確度的測量設(shè)備和測量方法。根據(jù)一個實(shí)施例,測量設(shè)備包括:顯示控制器,被配置成在顯示單元上顯示從不同視點(diǎn)拍攝的多幅圖像中的第一圖像;設(shè)置單元,被配置成設(shè)置第一圖像上的測量位置;第一計算器,被配置成計算多幅圖像中的不同于第一圖像的第二圖像上的與所述測量位置對應(yīng)的對應(yīng)位置;第二計算器,被配置成使用第一圖像、所述測量位置、所述第二圖像以及對應(yīng)位置來計算所述測量位置的三維位置和所述三維位置的誤差;以及選擇單元,被配置成當(dāng)每次由所述第二計算單元計算三維位置和誤差時,確定多幅圖像的多個圖像對中是否存在三維位置的誤差小于第二計算器所計算的誤差的圖像對,并且還被配置成當(dāng)存在所述圖像對時,選擇所述圖像對,但是當(dāng)不存在所述圖像對時,決定三維位置。當(dāng)每次所述選擇單元選擇所述圖像對時,第二計算器使用在所述圖像對中包括的新的第一圖像、三維位置被投影到所述新的第一圖像上的第一投影位置、在所述圖像對中包括的新的第二圖像、以及三維位置被投影到所述新的第二圖像上的第二投影位置,來計算所述測量位置的新的三維位置和誤差。根據(jù)上述測量設(shè)備,能夠提高三維位置的測量精確度。
圖1是示出了本實(shí)施例的測量設(shè)備的示例的配置圖;圖2是示出了本實(shí)施例的測量過程示例的流程圖;圖3是示出了本實(shí)施例的選擇屏幕示例的視圖;圖4是示出了本實(shí)施例的顯示屏幕示例的視圖;圖5是示出了本實(shí)施例的對應(yīng)點(diǎn)計算過程示例的流程圖;圖6是本實(shí)施例的對應(yīng)點(diǎn)計算過程示例的說明圖;圖7是示出了本實(shí)施例的顯示屏幕示例的視圖;圖8是示出了本實(shí)施例的三維位置的測量誤差的示例的說明圖;圖9是示出了本實(shí)施例的三維位置的測量誤差的計算方法示例的說明圖;圖10是示出了本實(shí)施例的三維位置的測量誤差的計算方法示例的說明圖;圖11是示出了本實(shí)施例的三維位置的測量誤差的計算方法示例的說明圖;圖12是示出了本實(shí)施例的三維位置的測量誤差的計算方法示例的說明圖;圖13是示出了本實(shí)施例的三維位置的測量誤差的計算方法示例的說明圖;圖14是示出了本實(shí)施例的圖像對搜索過程示例的流程圖;以及圖15是本實(shí)施例的圖像轉(zhuǎn)換方法示例的說明圖。
具體實(shí)施例方式在下文中,將參考附圖詳細(xì)描述實(shí)施例。圖1是示出了本實(shí)施例的測量設(shè)備100的示例的配置圖。如圖1所示,測量設(shè)備100包括顯示單元110、顯示控制單元120、輸入單元130、第一選擇單元140、設(shè)置單元150、第一計算單元160、第二計算單元170、第二選擇單元180以及轉(zhuǎn)換單元190??梢酝ㄟ^例如液晶顯示器之類的顯示設(shè)備來實(shí)現(xiàn)顯示單元110??梢酝ㄟ^在諸如CPU(中央處理單元)的處理設(shè)備上執(zhí)行的程序來實(shí)現(xiàn)顯示控制單元120、第一選擇單元140、設(shè)置單元150、第一計算單元160、第二計算單元170、第二選擇單元180以及轉(zhuǎn)換單元190,即,可以通過諸如IC (集成電路)的硬件來實(shí)現(xiàn)軟件或可以通過軟件和硬件的組合來實(shí)現(xiàn)軟件。例如,可以通過諸如相機(jī)的成像設(shè)備、存儲有由成像設(shè)備拍攝的圖像的存儲設(shè)備等來實(shí)現(xiàn)輸入單元130。例如,可以通過至少一個磁性地、光學(xué)地以及電學(xué)地可存儲存儲設(shè)備,例如HDD (硬盤驅(qū)動器)、SSD (固態(tài)驅(qū)動器)、R0M (只讀存儲器)以及存儲卡,來實(shí)現(xiàn)存儲設(shè)備。圖2是示出了由實(shí)施例的測量設(shè)備100執(zhí)行的測量過程的步驟的流程的示例的流程圖。首先,當(dāng)根據(jù)操作者的鼠標(biāo)操作等拍攝多幅圖像時,輸入單元130接收從不同視點(diǎn)拍攝的多幅圖像和相機(jī)的相機(jī)參數(shù)(SIO )。將相機(jī)參數(shù)大致分類為相機(jī)的內(nèi)部參數(shù)和外部參數(shù)。內(nèi)部參數(shù)包括鏡頭在圖像上的光學(xué)中心坐標(biāo)、鏡頭的焦距以及成像元件的有效像素間隔。外部參數(shù)表示相機(jī)的移動,并由旋轉(zhuǎn)矩陣、平移矢量等來表示。相機(jī)參數(shù)可以是將內(nèi)部參數(shù)和外部參數(shù)組合的投影矩陣(與透視投影矩陣同義)。投影矩陣是具有三行和四列的矩陣,并且表示從空間上的三維坐標(biāo)(三維坐標(biāo)系統(tǒng)的示例)到每個相機(jī)的圖像坐標(biāo)(圖像坐標(biāo)系統(tǒng)的示例)的轉(zhuǎn)換。假設(shè)當(dāng)預(yù)先去除了失真等時,將輸入的圖像適于測量三維位置。
如果通過輸入單元130輸入多幅圖像,則顯示控制單元120在顯示單元110上顯示多幅圖像的選擇屏幕,并且第一選擇單元140根據(jù)操作者的鼠標(biāo)操作等從多幅圖像中選擇第一圖像(步驟S20)。圖3是示出了本實(shí)施例的選擇屏幕的示例的視圖。在圖3示出的示例中,第一選擇單元140從多幅圖像200選擇圖像400作為第一圖像。如果第一選擇單元140選擇了第一圖像,則顯示控制單元120在顯示單元110上顯示第一圖像的顯示屏幕(步驟S30)。圖4是示出了本實(shí)施例的顯示屏幕的示例的視圖。在圖4示出的示例中,顯示控制單元120在顯示單元110上顯示被第一選擇單元140選擇作為第一圖像的圖像400的顯示屏幕。當(dāng)過程從步驟S90返回到該步驟時,顯示控制單元120在顯示單元110上顯示在步驟S90中受到圖像變換的第一圖像和在步驟S80中選擇的第二圖像的顯示屏幕。隨后,設(shè)置單元150根據(jù)操作者的鼠標(biāo)操作等在顯示單元110上所顯示的顯示屏幕中的第一圖像上設(shè)置測量點(diǎn)(測量位置的示例)(步驟S40)。測量點(diǎn)是三維位置的測量目標(biāo)點(diǎn)。在步驟S30中,如果選擇充分示出測量點(diǎn)和測量點(diǎn)周圍的圖像作為第一圖像,則變得容易使操作者輸入測量點(diǎn)。在圖4示出的示例中,設(shè)置單元150在顯示屏幕上的圖像400上設(shè)置測量點(diǎn)401。與此同時,當(dāng)完成步驟S90時,由于已經(jīng)在第一圖像上設(shè)置了測量點(diǎn)(投影點(diǎn)),從而可以不提供此步驟。當(dāng)已經(jīng)被設(shè)置的測量點(diǎn)從測量目標(biāo)位置轉(zhuǎn)移時,設(shè)置單元150可以校正并重設(shè)測量點(diǎn)的位置。如果設(shè)置單元150設(shè)置了測量點(diǎn),則第一計算單元160計算第二圖像上的與在第一圖像上設(shè)置的測量點(diǎn)對應(yīng)的對應(yīng)點(diǎn)(對應(yīng)位置的示例),該第二圖像是從輸入單元130輸入的多幅圖像中不同于第一圖像的任意圖像(步驟S50)。與此同時,當(dāng)完成步驟S90時,由于已經(jīng)計算了第二圖像上的對應(yīng)點(diǎn)(投影點(diǎn)),從而可以不提供此步驟。然而,在步驟S40中,當(dāng)重設(shè)了測量點(diǎn)時,第一計算單元160執(zhí)行此步驟。圖5是示出了本實(shí)施例的由第一計算單元160執(zhí)行的對應(yīng)點(diǎn)計算過程的步驟的流程的示例的流程圖。首先,第一計算單元160在第一圖像上設(shè)置環(huán)繞測量點(diǎn)的窗口區(qū)域(步驟S501)。第一計算單元160可以根據(jù)第一圖像的分辨率和尺寸、具有/不具有紋理等來確定窗口區(qū)域的尺寸。圖6是本實(shí)施例的對應(yīng)點(diǎn)計算過程的示例的說明圖。在圖6示出的示例中,在圖像400上設(shè)置環(huán)繞測量點(diǎn)401的窗口區(qū)域500作為第一圖像。之后,第一計算單元160臨時設(shè)置第二圖像(步驟S502)。第一計算單元160可以將從輸入單元130輸入的多幅圖像中不同于第一圖像的所有圖像臨時設(shè)置為第二圖像,或可以將從輸入單元130輸入的多幅圖像中不同于第一圖像的一幅特定圖像臨時設(shè)置為第
二圖像。盡管在本實(shí)施例中,第一計算單元160重復(fù)步驟S502到S505直到不同于第一圖像的所有圖像均被臨時設(shè)置為第二圖像為止,然而用于臨時設(shè)置第二圖像的過程不限于此。第一計算單元160可以將從輸入單元130輸入的多幅圖像中拍攝時間最接近第一圖像的圖像、從第一圖像的拍攝時間起經(jīng)過了給定時間的圖像、或拍攝時間與第一圖像相隔最久的圖像臨時設(shè)置為第二圖像。在步驟S90之后,當(dāng)在步驟S40處重設(shè)測量點(diǎn)時,由第一計算單元160臨時設(shè)置的第二圖像變?yōu)樵诓襟ES80中選擇的第二圖像。在這些情況下,步驟S502到S505不重復(fù)。在圖6示出的示例中,圖像501被臨時設(shè)置為第二圖像。之后,第一計算單元160計算由第一計算單元160臨時設(shè)置的第二圖像上的與第一圖像上的測量點(diǎn)對應(yīng)的核線(步驟S503)。具體而言,第一計算單元160使用第一圖像和第二圖像的相機(jī)參數(shù)來計算核線。使用相機(jī)參數(shù)計算核線的方法是公知的,因而將省略對該方法的詳細(xì)描述。在圖6示出的示例中,計算圖像501上的核線502。之后,第一計算單元160在第二圖像的核線上設(shè)置與第一圖像的窗口區(qū)域?qū)?yīng)的窗口區(qū)域,并且計算這兩個窗口區(qū)域中的亮度的關(guān)聯(lián)值(執(zhí)行關(guān)聯(lián)操作)以計算對應(yīng)點(diǎn)(步驟S504)。S卩,第一計算單元160執(zhí)行第一圖像和第二圖像的關(guān)聯(lián)操作以計算對應(yīng)點(diǎn)。在圖6示出的示例中,在圖像501上的核線502上設(shè)置窗口區(qū)域503。第一計算單元160使用公式(I)中示出的NCC (歸一化互相關(guān))來計算亮度的關(guān)聯(lián)值(執(zhí)行關(guān)聯(lián)操作)。
權(quán)利要求
1.一種測量設(shè)備,包括: 顯示控制器,被配置成在顯示單元上顯示從不同視點(diǎn)拍攝的多幅圖像中的第一圖像; 設(shè)置單元,被配置成設(shè)置所述第一圖像上的測量位置; 第一計算器,被配置成計算所述多幅圖像中的不同于所述第一圖像的第二圖像上的與所述測量位置對應(yīng)的對應(yīng)位置; 第二計算器,被配置成使用所述第一圖像、所述測量位置、所述第二圖像以及所述對應(yīng)位置來計算所述測量位置的三維位置和所述三維位置的誤差;以及 選擇單元,被配置成當(dāng)每次所述第二計算單元計算所述三維位置和所述誤差時,確定所述多幅圖像的多個圖像對中是否存在所述三維位置的誤差小于所述第二計算器計算的所述誤差的圖像對,并且所述選擇單元還被配置成當(dāng)存在所述圖像對時,選擇所述圖像對,但是當(dāng)不存在所述圖像對時,決定所述三維位置, 其中,當(dāng)每次所述選擇單元選擇所述圖像對時,所述第二計算器使用在所述圖像對中包括的新的第一圖像 、所述三維位置被投影到所述新的第一圖像上的第一投影位置、在所述圖像對中包括的新的第二圖像、以及所述三維位置被投影到所述新的第二圖像上的第二投影位置,來計算所述測量位置的新的三維位置和誤差。
2.根據(jù)權(quán)利要求1所述的設(shè)備, 其中,所述選擇單元通過使用表示從三維坐標(biāo)系統(tǒng)到圖像坐標(biāo)系統(tǒng)的變換的投影矩陣將所述三維位置投影到在所述圖像對中包括的每幅圖像上來設(shè)置投影位置,并且所述選擇單元基于每個投影位置計算所述圖像對中的所述三維位置的所述誤差。
3.根據(jù)權(quán)利要求2所述的設(shè)備, 其中,所述選擇單元在每個投影位置周圍執(zhí)行關(guān)聯(lián)操作,并且當(dāng)表示關(guān)聯(lián)值的平滑度的值不滿足第一閾值時,所述選擇單元對所述圖像對的所述三維位置中的所述誤差給出罰值。
4.根據(jù)權(quán)利要求1到3中任一項所述的設(shè)備, 其中,當(dāng)存在所述三維位置的所述誤差小于所述第二計算器計算的所述誤差的多個圖像對時,所述選擇單元選擇所述三維位置中具有最小誤差的圖像對。
5.根據(jù)權(quán)利要求1到4中任一項所述的設(shè)備, 其中,當(dāng)所述第一圖像包括在所選擇的圖像對中時,所述選擇單元將所述第一圖像設(shè)置為所述新的第一圖像,并且將另一圖像設(shè)置為所述新的第二圖像。
6.根據(jù)權(quán)利要求1到5中任一項所述的設(shè)備, 其中,所述第一計算器執(zhí)行所述第一圖像和所述第二圖像的關(guān)聯(lián)操作,以計算所述對應(yīng)位置,并且 所述第二圖像是所述多幅圖像中的與所述第一圖像具有最高關(guān)聯(lián)的圖像、與所述第一圖像的關(guān)聯(lián)滿足第二閾值的圖像、拍攝時間最接近所述第一圖像的圖像、或拍攝時間與所述第一圖像相隔最久的圖像。
7.根據(jù)權(quán)利要求1到6中任一項所述的設(shè)備, 其中,所述顯示控制器在所述顯示單元上顯示設(shè)置了所述對應(yīng)位置的所述第二圖像,并且 所述設(shè)置單元校正并重設(shè)所述對應(yīng)位置。
8.根據(jù)權(quán)利要求1到7中任一項所述的設(shè)備,還包括: 轉(zhuǎn)換器,被配置成執(zhí)行圖像轉(zhuǎn)換,以將所述新的第一圖像的旋轉(zhuǎn)方向與所述第一圖像的旋轉(zhuǎn)方向匹配, 其中,所述顯示控制器在所述顯示單元上顯示設(shè)置了所述第一投影位置并且執(zhí)行了所述圖像轉(zhuǎn)換的所述新的第一圖像、以及設(shè)置了所述第二投影位置的所述新的第二圖像,并且 所述設(shè)置單元校正并重設(shè)所述第一投影位置和所述第二投影位置的至少之一。
9.一種測量方法,包括: 通過顯示控制器在顯示單元上顯示從不同視點(diǎn)拍攝的多幅圖像中的第一圖像; 通過設(shè)置單元設(shè)置所述第一圖像上的測量位置; 通過第一計算器計算所述多幅圖像中的不同于所述第一圖像的第二圖像上的與所述測量位置對應(yīng)的對應(yīng)位置; 通過第二計算器使用所述第一圖像、所述測量位置、所述第二圖像以及所述對應(yīng)位置來計算所述測量位置的三維位置和所述三維位置的誤差;以及 當(dāng)每次所述第二計算單元計算所述三維位置和所述誤差時,選擇單元確定在所述多幅圖像的多個圖像對中是否存在所述三維位置的誤差小于所述第二計算器計算的所述誤差的圖像對;以及 當(dāng)存在圖像對時,所述選擇單元選擇所述圖像對,但是當(dāng)不存在圖像對時,所述選擇單元決定所述三維位置, 其中,在計算所述三維位置和所述三維位置的所述誤差時,當(dāng)每次所述選擇單元選擇所述圖像對時,使用在所述圖像對中包括的新的第一圖像、所述三維位置被投影到所述新的第一圖像上的第一投影位置、所述圖像對中包括的新的第二圖像、以及所述三維位置被投影到所述新的第二圖像上的第二投影位置,來計算所述測量位置的新的三維位置和誤差。
全文摘要
根據(jù)實(shí)施例,一種測量設(shè)備包括顯示控制器,被配置成在顯示單元上顯示從不同視點(diǎn)拍攝的多幅圖像中的第一圖像;設(shè)置單元,被配置成設(shè)置第一圖像上的測量位置;第一計算器,被配置成計算多幅圖像中的不同于第一圖像的第二圖像上的與測量位置對應(yīng)的對應(yīng)位置;第二計算器,被配置成使用第一圖像、測量位置、第二圖像以及對應(yīng)位置來計算測量位置的三維位置和三維位置的誤差;以及選擇單元,被配置成當(dāng)每次由第二計算單元計算三維位置和誤差時,確定多幅圖像的多個圖像對中是否具有三維位置的誤差小于第二計算器所計算的誤差的圖像對,并且還被配置成當(dāng)具有所述圖像對時,選擇所述圖像對,但是當(dāng)不具有所述圖像對時,決定三維位置。當(dāng)每次選擇單元選擇圖像對時,第二計算器使用在圖像對中包括的新的第一圖像、三維位置被投影到新的第一圖像上的第一投影位置、在圖像對中包括的新的第二圖像、以及三維位置被投影到新的第二圖像上的第二投影位置,來計算測量位置的新的三維位置和誤差。
文檔編號G01C11/00GK103217147SQ20131001994
公開日2013年7月24日 申請日期2013年1月18日 優(yōu)先權(quán)日2012年1月19日
發(fā)明者關(guān)晃仁, 岡田隆三 申請人:株式會社東芝