在3D中捕捉現(xiàn)實(shí)的問題

媒體公司一直是 360 度視頻、虛擬現(xiàn)實(shí)(VR)、增強(qiáng)現(xiàn)實(shí)(AR)和MR 等技術(shù)格式的早期采用者。

與實(shí)時(shí)相反，MR將物理對象和數(shù)字對象以 3D 形式融合在一起，并且通常在帶有綠屏和數(shù)百個(gè)精確校準(zhǔn)的攝像機(jī)的專用空間中生成。每個(gè)場景都需要數(shù)小時(shí)甚至數(shù)天的后期制作時(shí)間。

嘗試實(shí)時(shí)進(jìn)行 MR 已被證明對開發(fā)人員在技術(shù)和經(jīng)濟(jì)上都具挑戰(zhàn)性，并且到目前為止，這種形式似乎有點(diǎn)不切實(shí)際。虹科的合作伙伴John Ilett表示：“對我們來說，從大量相機(jī)中采集和同步高分辨率、高幀率的視頻已經(jīng)很成熟了，但在現(xiàn)場實(shí)時(shí)處理確實(shí)存在挑戰(zhàn)?！?/p>

深度學(xué)習(xí)需要輔助

我們的一家合作伙伴認(rèn)為他們有解決這些問題的策略，計(jì)劃以多種分辨率捕獲圖像、重建場景并將MR內(nèi)容流式傳輸?shù)阶罱K用戶設(shè)備。 從開始到結(jié)束，直播流中的每一幀只需幾毫秒即可完成。

但是有一個(gè)障礙是，為了讓軟件在現(xiàn)實(shí)世界中運(yùn)行，他們需要一個(gè)高分辨率、高幀率的相機(jī)，內(nèi)容創(chuàng)作者可以在體育場、音樂會場地或遠(yuǎn)程位置輕松布置。該公司對相機(jī)進(jìn)行了測試，但使用的模型嚴(yán)重限制了數(shù)據(jù)吞吐量以及相機(jī)與系統(tǒng)數(shù)據(jù)處理單元之間的電纜距離。為了向前推進(jìn)，他們需要一臺廣播質(zhì)量的相機(jī)，能夠高速處理體積數(shù)據(jù)。

提供更高速的相機(jī)

從2020年開始，虹科的合作伙伴發(fā)布了幾款帶有高分辨率圖像傳感器的新相機(jī)。這些相機(jī)包括帶有SFP28-25GigE、QSFP28-50GigE和QSFP28-100GigE接口選項(xiàng)的型號，所有這些型號都提供覆蓋任何長度的布線選項(xiàng)。

MR體驗(yàn)中的圖像應(yīng)以極高的幀率和分辨率采集。有了新的相機(jī)，我們的合作伙伴能夠組裝出一個(gè)商業(yè)上可行的系統(tǒng)。高速抓拍對于體育運(yùn)動來說尤其重要，因?yàn)榧尤诵牡膭幼魍l(fā)生在眨眼之間。例如，在拍攝高爾夫揮桿時(shí)，幀速率為30 fps的相機(jī)可能只“看到”揮桿的開始和結(jié)束，這會顯著降低體積內(nèi)容的質(zhì)量。

我們的合作伙伴說：“我們不是在工廠里用這些攝像頭來檢查零件，我們是在用它們來創(chuàng)造娛樂體驗(yàn)?！薄！爱?dāng)速度[fps]增加時(shí)，快速移動動作的質(zhì)量會提高，我們產(chǎn)生的輸出會更好，整體體驗(yàn)也會提高?！?/p>

虹科產(chǎn)品：HK HZ-65000-G: 100GigE 相機(jī)

關(guān)鍵特點(diǎn)：

• 高速 QSFP28 – 100GigE 接口
• 65.4MP, 高達(dá)71 fps
• 100倍于GigE的速度
• 符合 GigE Vision? 和 Genicam?
• 提供單色和彩色選項(xiàng)
• 提供無風(fēng)扇和 IP67 選項(xiàng)