計(jì)算機(jī)視覺會(huì)再次發(fā)生技術(shù)變革嗎？

匹茲堡大學(xué)眼科教授、CMU機(jī)器人研究所兼職教授Ryad Benosman認(rèn)為答案是肯定的。作為基于事件的視覺技術(shù)的奠基人之一，Benosman預(yù)計(jì)神經(jīng)形態(tài)視覺（基于事件相機(jī)的計(jì)算機(jī)視覺）是計(jì)算機(jī)視覺的下一個(gè)方向。

他說：“計(jì)算機(jī)視覺已經(jīng)被重新發(fā)明了很多很多次。我已經(jīng)看到它至少被重新發(fā)明了兩次，從無到有，從零開始。”

Benosman列舉了20世紀(jì)90年代從帶有一點(diǎn)攝影測量的圖像處理到基于幾何學(xué)方法的轉(zhuǎn)變，然后是今天向機(jī)器學(xué)習(xí)的快速轉(zhuǎn)變。盡管有這些變化，現(xiàn)代計(jì)算機(jī)視覺技術(shù)仍然主要基于圖像傳感器，產(chǎn)生類似于人眼所見的圖像的相機(jī)。

據(jù)Benosman說，除非圖像傳感范式不再有用，否則它會(huì)阻礙替代技術(shù)的創(chuàng)新。這種影響因高性能處理器（如GPU）的發(fā)展而延長，這些處理器推遲了尋找替代解決方案的需要。

他說：“我們?yōu)槭裁匆谟?jì)算機(jī)視覺中使用圖像？這是個(gè)百萬美元的問題。首先，我們沒有理由使用圖像，這只是因?yàn)橛袣v史的慣性。甚至在有相機(jī)之前，圖像就有了勢能。”

圖像相機(jī)

自公元前5世紀(jì)出現(xiàn)針孔相機(jī)以來，圖像相機(jī)就一直存在。到了15世紀(jì)，藝術(shù)家們建造了房間大小的設(shè)備，用來在畫布上描摹房間外的人或風(fēng)景。隨著時(shí)間的推移，畫作被膠片所取代，用來記錄圖像。數(shù)字?jǐn)z影等創(chuàng)新最終使圖像相機(jī)很容易成為現(xiàn)代計(jì)算機(jī)視覺技術(shù)的基礎(chǔ)。

然而，Benosman認(rèn)為，基于圖像相機(jī)的計(jì)算機(jī)視覺技術(shù)是非常低效的。他將其比作中世紀(jì)城堡的防御系統(tǒng)：駐守在城墻周圍的士兵從各個(gè)方向注視著接近的敵人。鼓手打著穩(wěn)定的節(jié)拍，每敲一下，每個(gè)守衛(wèi)就會(huì)大聲喊出他們所看到的東西。在所有的呼喊聲中，聽到一個(gè)守衛(wèi)在遠(yuǎn)處森林邊緣發(fā)現(xiàn)敵人發(fā)出的聲音會(huì)有多容易？

21世紀(jì)相當(dāng)于鼓點(diǎn)的硬件是電子時(shí)鐘信號，而衛(wèi)兵是像素，每一個(gè)時(shí)鐘周期都會(huì)產(chǎn)生一大批數(shù)據(jù)并必須進(jìn)行檢查，這意味著有大量的冗余信息和大量不必要的計(jì)算需要。

Prophesee公司與索尼合作開發(fā)的DVS傳感器的評估套件

Benosman說：“人們消耗了如此多的能量，它占據(jù)了整個(gè)城堡的算力來保衛(wèi)自己。如果發(fā)現(xiàn)了一個(gè)有趣的事件，在這個(gè)比喻中以敵人為代表，你就必須到處去收集無用的信息，人們四處尖叫，所以帶寬非常巨大……現(xiàn)在想象一下你有一個(gè)復(fù)雜的城堡。所有這些人都必須被聽到。”

進(jìn)入神經(jīng)形態(tài)視覺。其基本理念是受生物系統(tǒng)工作方式的啟發(fā)，檢測場景動(dòng)態(tài)的變化，而不是連續(xù)分析整個(gè)場景。在我們的城堡比喻中，這將意味著讓守衛(wèi)保持安靜，直到他們看到感興趣的東西，然后喊出他們的位置，發(fā)出警報(bào)。在電子版本中，這意味著讓單個(gè)像素決定它們是否看到了相關(guān)的東西。

他說：“像素可以自己決定他們應(yīng)該發(fā)送什么信息，而不是獲取系統(tǒng)信息，他們可以尋找有意義的信息，即特征。這就是與眾不同之處。”

與固定頻率的系統(tǒng)采集相比，這種基于事件的方法可以節(jié)省大量的功耗，并減少延遲。

他說：“你想要一些更加自適應(yīng)的東西，這就是基于事件的視覺的相對變化給你帶來的東西，一個(gè)自適應(yīng)的采集頻率。當(dāng)你觀察振幅變化時(shí)，如果某些東西移動(dòng)得非?？?，我們會(huì)得到很多樣本。如果某些東西沒有變化，你會(huì)得到幾乎為零的樣本，所以你是根據(jù)場景的動(dòng)態(tài)來適應(yīng)你的采集頻率。這就是它所帶來的好處。這就是為什么它是一個(gè)好的設(shè)計(jì)。”

Benosman在2000年進(jìn)入神經(jīng)形態(tài)視覺領(lǐng)域，確信先進(jìn)的計(jì)算機(jī)視覺永遠(yuǎn)不可能成功，因?yàn)閳D像不是正確的方法。

他說：“巨大的轉(zhuǎn)變是說我們可以在沒有灰度和沒有圖像的情況下做視覺，這在2000年底還完全是異端邪說。”

Benosman提出的技術(shù)（基于事件的傳感技術(shù)的基礎(chǔ)）是如此不同，以至于當(dāng)時(shí)提交給最重要的IEEE計(jì)算機(jī)視覺雜志的論文未經(jīng)審查就被拒絕了。事實(shí)上，直到2008年開發(fā)出DVS（Dynamic Vision Sensor）后，該技術(shù)才開始獲得發(fā)展勢頭。

一些Prophesee客戶的應(yīng)用顯示了圖像攝像機(jī)和DVS傳感器輸出之間的差異

神經(jīng)科學(xué)的靈感神經(jīng)形態(tài)技術(shù)是那些受到生物系統(tǒng)啟發(fā)的技術(shù)，包括終極計(jì)算機(jī)，大腦及其計(jì)算元素，神經(jīng)元。問題是，沒人完全了解神經(jīng)元的確切工作原理。雖然我們知道神經(jīng)元對傳入的稱為spike的電信號起作用，但直到最近，研究人員將神經(jīng)元描述為非常草率，認(rèn)為只有spike的數(shù)量才重要。這種假說持續(xù)了幾十年。最近的研究已經(jīng)證明，這些spike的時(shí)間是絕對關(guān)鍵的，大腦的結(jié)構(gòu)在這些spikes中制造延遲來編碼信息。

今天的spiking神經(jīng)網(wǎng)絡(luò)，模擬大腦中看到的spike信號，是真實(shí)事物的簡化版本，通常是spike的二進(jìn)制表示。Bnosman解釋說：“我收到一個(gè)1，我醒來，我計(jì)算，我睡覺?，F(xiàn)實(shí)要復(fù)雜得多。當(dāng)一個(gè)spike出現(xiàn)時(shí)，神經(jīng)元開始隨時(shí)間對spike的值進(jìn)行積分；還有來自神經(jīng)元的滲漏，意味著結(jié)果是動(dòng)態(tài)的。還有大約50種不同類型的神經(jīng)元，有50種不同的整合模式。今天的電子版本缺少動(dòng)態(tài)的整合路徑，神經(jīng)元之間的連接，以及不同的權(quán)重和延遲。”

他說：“問題是要做一個(gè)有效的產(chǎn)品，你無法模仿所有的復(fù)雜性，因?yàn)槲覀儾涣私馑?。如果我們有好的大腦理論，會(huì)解決這個(gè)問題。問題是我們只是知道的不夠多。”

今天，Benosman經(jīng)營著一個(gè)獨(dú)特的實(shí)驗(yàn)室，致力于了解皮質(zhì)計(jì)算背后的數(shù)學(xué)，目的是創(chuàng)建新的數(shù)學(xué)模型，并將其復(fù)制為硅器件。這包括直接監(jiān)測來自真實(shí)視網(wǎng)膜碎片的spike。

目前，Benosman反對試圖忠實(shí)地復(fù)制生物神經(jīng)元，他認(rèn)為這種方法已經(jīng)過時(shí)。

他說：“在硅中復(fù)制神經(jīng)元的想法是由于人們看著晶體管，看到一個(gè)看起來像真正的神經(jīng)元的區(qū)域，所以一開始就有一些想法。我們沒有細(xì)胞，我們有硅。你需要適應(yīng)你的計(jì)算基板，而不是相反……如果我知道我在計(jì)算什么，我有硅，我可以優(yōu)化這個(gè)方程，以最低的成本、最低的功耗、最低的延遲運(yùn)行它。”

處理功耗

認(rèn)識(shí)到?jīng)]有必要完全復(fù)制神經(jīng)元，再加上DVS相機(jī)的發(fā)展，是今天神經(jīng)形態(tài)視覺系統(tǒng)背后的驅(qū)動(dòng)力。雖然今天的系統(tǒng)已經(jīng)在市場上出現(xiàn)，但在我們有完全類人視覺可供商業(yè)使用之前，還有一段路要走。

最初的DVS相機(jī)有“大而笨重的像素”，因?yàn)?a class="article-link" target="_blank" href="/baike/481480.html">光電二極管本身周圍的組件大大降低了填充系數(shù)。雖然對這些相機(jī)的開發(fā)投資加速了技術(shù)的發(fā)展，但Benosman明確表示，今天的事件相機(jī)只是對早在2000年開發(fā)的原始研究設(shè)備的改進(jìn)。來自索尼、三星和Omnivision的最先進(jìn)的DVS相機(jī)擁有微小的像素，融合了3D堆疊等先進(jìn)技術(shù)，并減少了噪聲。Benosman擔(dān)心的是今天使用的傳感器類型是否能成功地?cái)U(kuò)大規(guī)模。

他說：“問題是，一旦你增加了像素的數(shù)量，你就會(huì)得到大量的數(shù)據(jù)，因?yàn)槟愕乃俣热匀怀臁Ｄ憧赡苋匀豢梢詫?shí)時(shí)處理它，但你從太多的像素中得到了太多的相對變化。現(xiàn)在，這讓人非常沮喪，因?yàn)樗麄兛吹搅藵摿?，但他們沒有合適的處理器來支持它。”

通用的神經(jīng)形態(tài)處理器落后于其DVS相機(jī)的同類產(chǎn)品。業(yè)界一些巨頭（IBM Truenorth、英特爾Loihi）的努力仍在進(jìn)行中。Benosman說，合適的處理器與合適的傳感器將是一個(gè)無敵的組合。

Benosman說：“今天的DVS傳感器速度極快，帶寬超低，具有高動(dòng)態(tài)范圍，所以你可以看到室內(nèi)和室外。這就是未來。它會(huì)成功嗎？肯定會(huì)的。”

他補(bǔ)充說：“誰能推出處理器并提供完整的堆棧，誰就會(huì)勝出，因?yàn)樗鼘⑹菬o可匹敵的。”

[參考文章]

A Shift in Computer Vision is Coming — Sally Ward-Foxton