日本隊(duì)第二個(gè)球進(jìn)沒進(jìn)？三維相機(jī)判斷的標(biāo)準(zhǔn)是什么？
導(dǎo)讀
北京時(shí)間今天早上，在世界杯E組西班牙對陣日本的一場關(guān)鍵戰(zhàn)中，上半場0-1落后的日本隊(duì)，在下半場開始6分鐘內(nèi)連入2球逆轉(zhuǎn)比賽。其中日本隊(duì)的第二粒進(jìn)球，三笘薰在底線附近救回皮球時(shí)，皮球十分接近出界，當(dāng)值邊裁也舉旗示意此球無效。然而，本屆杯賽采用了全新的三維相機(jī)技術(shù)（多視角成像），在高科技的幫助下裁判最終確認(rèn)進(jìn)球有效。日本隊(duì)也憑借此粒金子般的進(jìn)球戰(zhàn)勝對手拿到小組第一，同時(shí)送德國隊(duì)小組出局。
那么，多視角成像的原理是什么？這一技術(shù)為何會(huì)成為主裁判作出判罰決定的重要助手？請看鵬城實(shí)驗(yàn)室助理研究員焦述銘博士帶來的最新解讀。
出 品 | Light科普坊
作 者 | 焦述銘（鵬城實(shí)驗(yàn)室）
審 稿 | 左超（南京理工大學(xué)）
日本隊(duì)銳角轉(zhuǎn)彎從底線補(bǔ)救回足球
日本隊(duì)第二粒進(jìn)球的過程中，皮球在底線上的最小透鏡距離一度達(dá)到1.88毫米。根據(jù)足球規(guī)則，皮球是否出界，是根據(jù)球體正上方的垂直投影，是否完全過線來判定是否出界，而非球的實(shí)體有沒有壓線。所以，這顆皮球沒有出界。
三維相機(jī)技術(shù)的分析結(jié)果
另一方面，對于進(jìn)球的界定，則是要求皮球整體全部越過球門線。如果剛好砸在球門線上，也只是功敗垂成。在一些時(shí)候，一個(gè)球到底進(jìn)了還是沒進(jìn)，實(shí)在難以判斷，誕生了一樁又一樁的“魔鬼進(jìn)球”懸案。
世界杯歷史上頭號進(jìn)球懸案，當(dāng)屬1966年世界杯決賽中英格蘭前鋒球員赫斯特攻入的那一球。從比賽錄像來看，這個(gè)球就剛好擊中了球門線附近，可到底是進(jìn)了還是沒進(jìn)呢？盡管當(dāng)時(shí)裁判判定進(jìn)球有效，比賽中英格蘭隊(duì)也最終以4：2戰(zhàn)勝了聯(lián)邦德國隊(duì)，捧得了當(dāng)年的世界杯獎(jiǎng)杯，但幾十年來爭論卻一直沒有停止。
足球大多數(shù)時(shí)候是在三維空間中運(yùn)動(dòng)，而一臺相機(jī)或者攝像機(jī)拍攝到的畫面只是三維世界在某個(gè)觀看視角上的二維平面投影，這種“盲人摸象”常常會(huì)給足球位置的精準(zhǔn)判斷帶來很大困難。下面這段視頻中，大家可以看到一件詭異的裝置，似乎違反了重力的物理定律，相當(dāng)于蘋果沒有從樹上砸到牛頓頭上，反而從頭上飄回了樹上，但只要轉(zhuǎn)動(dòng)一下觀看視角，就會(huì)發(fā)現(xiàn)一切正常，裝置“沒毛病”。
視頻2：一個(gè)“違反物理定律”的詭異裝置[2]
這一方面說明了從單個(gè)視角的畫面觀看三維物體不免會(huì)出現(xiàn)錯(cuò)覺，另一方面也啟示我們，更好地感知三維世界一個(gè)有效方法就是多個(gè)不同視角的觀測。
在本屆世界杯上，每場比賽都有一套進(jìn)球判定系統(tǒng)（也稱為門線技術(shù)）[3]：球場中安裝了14臺不同角度的高速高清攝像頭，將它們各自的畫面綜合起來，可以比較精準(zhǔn)的判斷足球的三維空間位置，盡可能避免1966年世界杯的那種爭議，類似的系統(tǒng)在早前2018年俄羅斯世界杯和2014年巴西世界杯上也都被使用過。
而即使沒有14臺攝像機(jī)，哪怕只有兩個(gè)不同視角的畫面，相比于單個(gè)視角也會(huì)獲得更多的三維信息。在1966年世界杯30年之后的1996年，牛津大學(xué)兩位計(jì)算機(jī)視覺研究者Ian Reid和Andrew Zisserman試圖從科學(xué)角度再次分析一下那個(gè)進(jìn)球懸案[4,5]。
他們收集到了當(dāng)時(shí)比賽從不同視角拍攝到的兩段視頻，從單段視頻中，他們覺著難以判斷足球的精確位置，只能確定足球在一條線上，但不確定在線上的哪個(gè)位置，有很多種可能性。他們提取了兩段視頻的共同圖像特征，包括球場邊線、禁區(qū)線和球門門框線等，然后根據(jù)圖像特征把兩段視頻匹配到一起，獲得了各自視頻那條“可能線”的唯一交叉點(diǎn)，作為估計(jì)的足球位置。
圖1：牛津大學(xué)計(jì)算機(jī)視覺研究者對于1966年世界杯進(jìn)球懸案的再分析[5]
最后結(jié)論是：這個(gè)球距離成為進(jìn)球至少還差6厘米，也就是說，他們認(rèn)為這個(gè)球當(dāng)時(shí)并沒有進(jìn)，裁判判錯(cuò)了。兩人將這一研究工作以Goal-directed video metrology（以進(jìn)球?yàn)閷?dǎo)向的視頻測量法）為標(biāo)題正了八經(jīng)撰寫了一篇論文，發(fā)表在了1996年歐洲計(jì)算機(jī)視覺會(huì)議（ECCV 1996）上，ECCV是與ICCV，CVPR并稱的計(jì)算機(jī)視覺研究領(lǐng)域的全球三大頂級學(xué)術(shù)會(huì)議。
多視角拍攝是三維相機(jī)的一種典型實(shí)現(xiàn)方式，好多手機(jī)背面都安裝了多個(gè)攝像機(jī)，每個(gè)攝像頭可以以不同視角獲取三維場景信息。而對于人類來說，天生具有左右雙眼，而不是一只眼睛，也是為了更好的感知立體世界。盡管左右眼之間的距離間隔比較近，但觀看同一個(gè)物體時(shí)，左眼視角畫面和右眼視角畫面還是會(huì)有些許不同，這有助于我們定位物體的大小遠(yuǎn)近。
在《亮劍》中，李云龍將軍就向我們展示了他的絕招：一下子就看出敵軍陣地上的士兵距離自己500米遠(yuǎn)。
他將手臂伸直，豎起一根手指，分別只睜開左眼和睜開右眼朝著對方目標(biāo)的附近看過去，會(huì)指向兩個(gè)不同點(diǎn)，如果目標(biāo)距離自己比較近，兩點(diǎn)的距離就會(huì)比較小，反之就會(huì)比較大，從中可以估算出目標(biāo)距離自己的遠(yuǎn)近。
除了多視角成像之外，還有兩種常見的三維相機(jī)技術(shù)，分別是結(jié)構(gòu)光和時(shí)間飛行（timeofflight，tof）。使用結(jié)構(gòu)光技術(shù)的時(shí)候，我們分別需要一臺投影儀和一臺相機(jī)，投影儀會(huì)把均勻分布的平行條紋圖案照射到物體表面，然后相機(jī)從另一個(gè)視角觀看拍攝條紋。如果物體表面是平的，相機(jī)看到的條紋就還是均勻平行的規(guī)則形狀，可如果物體表面是三維凹凸不平的，條紋就會(huì)變得扭曲變形，而且對于不同形狀，扭曲變形的方式還會(huì)不一樣。從彎彎曲曲的線條中，我們就可以反過來推測出三維物體的形狀。
圖2：結(jié)構(gòu)光三維相機(jī)技術(shù)[6,7]
而時(shí)間飛行（tof）技術(shù)中，要想測量目標(biāo)物體上某一點(diǎn)距離你的遠(yuǎn)近，發(fā)射一束光到那一點(diǎn)，然后這束光碰到物體點(diǎn)，“撞了南墻”不得不走回頭路之后，再用探測器接收反射光信號，看一下時(shí)間間隔。光的速度是恒定的，從這趟“折返跑”的時(shí)間長短中自然可以計(jì)算出那一點(diǎn)的遠(yuǎn)近距離。當(dāng)然一個(gè)三維場景中會(huì)有好多個(gè)不同物體，每個(gè)物體上也有好多個(gè)點(diǎn)，為了完整進(jìn)行測量，則需要逐點(diǎn)掃描，讓光束“折返跑”好多次（當(dāng)然它也不怕累）。
圖3：時(shí)間飛行（tof）三維相機(jī)技術(shù)（本文作者自制）
目前一些新款的手機(jī)和平板電腦上也都包含了結(jié)構(gòu)光或者時(shí)間飛行的三維成像功能，這在不少時(shí)候能幫上大忙。
2021年清華大學(xué)RealAI團(tuán)隊(duì)曾經(jīng)對20款手機(jī)做了一個(gè)人臉識別系統(tǒng)破解實(shí)驗(yàn)[8]，根據(jù)真正用戶照片做了一個(gè)眼睛和鼻子的假面具，盡管這個(gè)面具只是以簡陋地方式打印在一張A4紙上，測試者還是可以偽裝成真正用戶，成功將20款手機(jī)中的19款解鎖。這與人臉識別的人工智能系統(tǒng)的缺陷有關(guān)，但也利用了很多手機(jī)只有二維平面拍照功能局限，如果手機(jī)通過結(jié)構(gòu)光或者時(shí)間飛行獲取人臉的三維模型，會(huì)很容易發(fā)現(xiàn)面具部分是平坦的一塊，沒有正常人的眼睛和鼻子會(huì)長成這個(gè)形狀，自然可以讓偽裝者通不過認(rèn)證。
圖4：RealAI團(tuán)隊(duì)對手機(jī)人臉識別的解鎖實(shí)驗(yàn)[8]
日常電子產(chǎn)品上三維人臉成像功能一般使用的都是非可見光波段，在你不知不覺中完成測量，使用起來方便快捷，技術(shù)上測量精確度也在不斷提升。當(dāng)然種種新的擔(dān)憂也隨之而來[9]，比如一個(gè)人如果“面目猙獰”或者做個(gè)鬼臉，表情劇烈變化，人臉形狀也會(huì)變得明顯不同，三維識別會(huì)不會(huì)出錯(cuò)？偽裝者從紙面具“升級換代”到用3D打印制作一個(gè)“有鼻子有眼”形狀逼真的假人臉模型，怎樣應(yīng)付？人臉識別面臨到個(gè)人隱私泄露的風(fēng)險(xiǎn)，三維的相比于二維的，會(huì)不會(huì)更加讓隱私蕩然無存？
多視角拍攝，結(jié)構(gòu)光和時(shí)間飛行是目前三維相機(jī)常見的幾個(gè)“套路”，而研究者也在另辟蹊徑，開發(fā)出更新型的感知三維世界的方式。
我們可以在相機(jī)鏡頭上做文章，普通的相機(jī)鏡片又稱為透鏡，形狀是對稱規(guī)則的，表面是平滑的，而研究者經(jīng)過精巧的優(yōu)化設(shè)計(jì)，讓鏡片各個(gè)部分厚薄不均勻，放大來看，凹凸不平，奇形怪狀，稱為“相位編碼孔徑”。通過這樣的鏡片拍到的照片會(huì)略有瑕疵，比如有些地方會(huì)稍稍模糊或者顏色扭曲，不過對整體畫質(zhì)影響并不大，人眼不容易察覺到。可這些微小的瑕疵中卻暗藏玄機(jī)，有“不小的信息量”，因?yàn)椴煌h(yuǎn)近的物體通過這樣的鏡片獲得的圖像瑕疵是不同的，利用人工智能算法可以直接從這樣一張不完美的照片中直接提取出照片對應(yīng)的遠(yuǎn)近深度信息[10,11]。
圖5：用于三維相機(jī)的一塊不同方格區(qū)域厚度各不相同的特殊鏡片[11]
我們還可以從蜘蛛身上做文章，自然界有一種會(huì)跳的蜘蛛，稱為跳蛛（Salticidae），它們每次總能精準(zhǔn)跳到想去的位置，科學(xué)家納悶了，它為啥有這么強(qiáng)的三維立體定位能力？后來發(fā)現(xiàn)，原來這種蜘蛛眼睛里有四層視網(wǎng)膜[12]，而人眼中只有一層視網(wǎng)膜。
視網(wǎng)膜相當(dāng)于老式相機(jī)中的膠片或者數(shù)碼相機(jī)中的傳感器，是人眼獲取到圖像的載體，單層視網(wǎng)膜決定了人眼獲得的圖像只能是平面的。而多層視網(wǎng)膜可就不簡單了，由于不同層視網(wǎng)膜本身之間就有距離間隔，不同遠(yuǎn)近物體的投影有的會(huì)聚到第一層視網(wǎng)膜上，有的會(huì)穿過透明的第一層視網(wǎng)膜，會(huì)聚到第二層視網(wǎng)膜上，還有第三層、第四層……可能在某一層視網(wǎng)膜上是聚焦的，呈現(xiàn)的是清晰的圖像，在其他幾層視網(wǎng)膜上呈現(xiàn)的就是不同程度模糊的圖像，一個(gè)物體在多層視網(wǎng)膜上產(chǎn)生不同模糊程度圖像的分布情況，就顯示了它的遠(yuǎn)近距離，這樣一套立體的視網(wǎng)膜系統(tǒng)也可以給我們帶來立體的感知。
美國密歇根大學(xué)的研究者就仿照這種蜘蛛的眼睛，用一種厚度非常薄的新型石墨烯材料，加工出相當(dāng)于四層視網(wǎng)膜的四層傳感器，構(gòu)造出了一臺新型的“跳動(dòng)蜘蛛”三維相機(jī)[13,14]。
圖6：不同遠(yuǎn)近物體在多層視網(wǎng)膜上會(huì)投影出不同清晰聚焦和模糊程度的圖像[13]
我們平時(shí)生活在一個(gè)三維立體世界中，每天都可以體驗(yàn)到“遠(yuǎn)近高低更不同”，平面二維的圖像記錄裝置總是無法滿足我們對于記錄真實(shí)世界的渴望，對于各種真正三維成像技術(shù)的追求也會(huì)永無止境。
作者簡介
焦述銘，鵬城實(shí)驗(yàn)室助理研究員，香港城市大學(xué)電子工程博士，從事全息三維顯示算法，單像素成像，光學(xué)計(jì)算，圖像處理，信息安全，機(jī)器學(xué)習(xí)等研究，曾獲得香港特區(qū)政府Hong Kong PhD Fellowship Scheme和廣東省“珠江人才計(jì)劃”海外青年引進(jìn)計(jì)劃（博士后資助項(xiàng)目）。在Optics Letters, Optics Express, IEEE Transactions on Industrial Informatics, Engineering等期刊上以第一或通訊作者發(fā)表論文20余篇，獲得2020年國際顯示技術(shù)大會(huì)（ICDT 2020）優(yōu)秀論文獎(jiǎng)。
擔(dān)任《應(yīng)用光學(xué)》和《液晶與顯示》期刊青年編委，中國光學(xué)學(xué)會(huì)全息與光信息處理專業(yè)委員會(huì)委員，中國圖像圖形學(xué)學(xué)會(huì)三維成像與顯示專業(yè)委員會(huì)委員，中國圖像圖形學(xué)學(xué)會(huì)三維視覺專業(yè)委員會(huì)委員。擔(dān)任中國科普作家協(xié)會(huì)會(huì)員，Light科普坊科學(xué)家顧問團(tuán)成員，曾在果殼網(wǎng)，科學(xué)大院，南方都市報(bào)，讀者原創(chuàng)版等網(wǎng)絡(luò)和平面媒體撰寫科普文章，2013年第六版《十萬個(gè)為什么》圖書數(shù)學(xué)分冊和電子信息分冊作者之一。
參考文獻(xiàn)
[1]https://v.qq.com/x/cover/y0xi3d9qwvvlrpc/n0026ycr9ab.html
[2] The Best illusion of the Year Contest http://illusionoftheyear.com/
[3] 國際足聯(lián)FIFA官方網(wǎng)站 https://www.fifa.com/technical/football-technology/football-technologies-and-innovations-at-the-fifa-world-cup-2022/goal-line-technology
[4] I. Reid and A. Zisserman, “Goal-directed video metrology,” 1996 European Conference on Computer Vision (ECCV) (1996)
[5]https://www.robots.ox.ac.uk/~ian/wc66.html
[6] 左超，張曉磊，胡巖，尹維，沈德同，鐘錦鑫，鄭晶，陳錢，“3D真的來了嗎?——三維結(jié)構(gòu)光傳感器漫談,"紅外與激光工，49(3), 45 (2020).
[7] 湖南大學(xué)黃威博士提供圖片
[8] https://real-ai.cn/news/company-news/168.html
[9] 羅常偉，於俊，于靈云，李亞利，王生進(jìn)， “三維人臉識別研究進(jìn)展綜述,” 清華大學(xué)學(xué)報(bào)：自然科學(xué)版，61(1), 12 (2021).
[10] H. Haim, S. Elmalem, R. Giryes, A. M. Bronstein, and E. Marom, “Depth estimation from a single image using deep learned phase coded mask,” IEEE Transactions on Computational Imaging 4(3), 298-310 (2018).
[11] Y. Wu, V. Boominathan, H. Chen, A. Sankaranarayanan and A. Veeraraghavan, "PhaseCam3D — Learning Phase Masks for Passive Single View Depth Estimation," 2019 IEEE International Conference on Computational Photography (ICCP), 1-12 (2019).
[12] Q. Guo, Z. Shi, Y. W. Huang, E. Alexander, C. W. Qiu, F. Capasso, and T. Zickler, “Compact single-shot metalens depth sensors inspired by eyes of jumping spiders,” PNAS 116(46), 22959-22965 (2019).
[13] M.-B. Lien, C.-H. Liu, I. Y. Chun, S. Ravishankar, H. Nien, M. Zhou, J. A. Fessler, Z. Zhong and T. B. Norris, “Ranging and light field imaging with transparent photodetectors,” Nature Photonics 14, 143–148 (2020)
[14] K. Shehzad and Y. Xu, “Graphene light-field camera,” Nature Photonics14,134–136(2020)
制版編輯 | Livan
歡迎關(guān)注我們，投稿、授權(quán)等請聯(lián)系
saixiansheng@zhishifenzi.com
