隨著人工智能、物聯(lián)網(wǎng)等技術(shù)的不斷發(fā)展，它們所具備的功能也越來(lái)越多、越來(lái)越先進(jìn)。而這些發(fā)展的基礎(chǔ)則是智能視覺(jué)。如果說(shuō)眼睛是人類(lèi)心靈的窗戶，那智能視覺(jué)將是未來(lái)人工智能及物聯(lián)網(wǎng)等前沿技術(shù)的“慧眼”，它也將成為未來(lái)邊緣設(shè)備等的普世能力。

尤其，隨著ChatGPT的風(fēng)靡，大模型讓原本專(zhuān)屬于人類(lèi)的感知、思考和行動(dòng)能力逐漸向機(jī)器轉(zhuǎn)移。而這一現(xiàn)象將加速科技的下一個(gè)拐點(diǎn)的到來(lái)，那就是以機(jī)器人和自動(dòng)駕駛等技術(shù)為代表的行動(dòng)無(wú)處不在的時(shí)代。而在這一新時(shí)代，智能視覺(jué)也必不可少。

Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健表示：“因?yàn)闄C(jī)器系統(tǒng)必須通過(guò)視覺(jué)等感官理解周?chē)h(huán)境，做出相應(yīng)的決策和行動(dòng)，視覺(jué)信息為自動(dòng)駕駛和機(jī)器人提供了關(guān)鍵的安全和避障能力，這是生死攸關(guān)問(wèn)題?！?/p>

智能視覺(jué)系統(tǒng)技術(shù)發(fā)展趨勢(shì)

智能視覺(jué)系統(tǒng)正在朝著以下幾個(gè)方面的技術(shù)趨勢(shì)發(fā)展。首先是云、邊、端的協(xié)同，由于視頻數(shù)據(jù)巨大的數(shù)據(jù)量以及諸如自動(dòng)駕駛等應(yīng)用的實(shí)時(shí)性要求決定了智能視覺(jué)系統(tǒng)需要能夠?qū)⒂?jì)算和決策任務(wù)分布在云、邊和終端設(shè)備上，并實(shí)現(xiàn)協(xié)同工作。

其次是AI加持，未來(lái)的智能視覺(jué)系統(tǒng)將繼續(xù)依賴深度學(xué)習(xí)模型和神經(jīng)網(wǎng)絡(luò)，提高圖像的分析和識(shí)別能力，并利用強(qiáng)化學(xué)習(xí)和自主自適應(yīng)學(xué)習(xí)，使系統(tǒng)能夠從環(huán)境中不斷學(xué)習(xí)和改進(jìn)，并適應(yīng)新的場(chǎng)景和任務(wù)。

第三就是算力支持，由于復(fù)雜的模型和算法，大規(guī)模的圖像數(shù)據(jù)處理實(shí)時(shí)性、高精度、高并發(fā)等要求，智能視覺(jué)系統(tǒng)需要提供越來(lái)越強(qiáng)大的計(jì)算資源和算力支持。智能視覺(jué)系統(tǒng)的廣泛應(yīng)用也引發(fā)了對(duì)隱私和安全性的關(guān)注，未來(lái)的趨勢(shì)是采用加密、匿名化等技術(shù)手段保護(hù)用戶的隱私，同時(shí)加強(qiáng)系統(tǒng)的安全性，防止被惡意攻擊和濫用。

而智能視覺(jué)芯片架構(gòu)在過(guò)去幾年也經(jīng)歷了一系列的演進(jìn)，從功能固定難以編程的DSP和ASK，到通用性強(qiáng)易編程的CPU架構(gòu)，到現(xiàn)在最先進(jìn)的綜合CPU、ISP圖像處理器、NPU AI加速器，VPU視頻編解碼器、GPU圖形處理器的異構(gòu)SoC片上系統(tǒng)，已經(jīng)逐步實(shí)現(xiàn)低功耗、高性能和高度集成的特點(diǎn)。適用于資源受限的邊緣設(shè)備，比如智能手機(jī)、攝像頭、XR，機(jī)器人和物聯(lián)網(wǎng)設(shè)備等，為智能視覺(jué)成為一種普世的能力奠定基礎(chǔ)。

Arm+安謀科技的全新智能視覺(jué)參考設(shè)計(jì)

針對(duì)智能視覺(jué)未來(lái)的龐大需求，Arm近期攜手安謀科技推出了一款智能視覺(jué)參考設(shè)計(jì)。據(jù)馬健介紹，該方案的硬件參考設(shè)計(jì)包括了CPU、ISP、NPU和VPU處理器選項(xiàng)以及將這些元件粘合在一起的子系統(tǒng)IP。值得一提的是，這也是Arm的IP與安謀科技的IP首次結(jié)合在一起，并由安謀科技預(yù)先集成和預(yù)先驗(yàn)證。

Arm智能視覺(jué)參考設(shè)計(jì)組成

該款參考設(shè)計(jì)中的CPU采用的是Arm Corstone-1000 和 Corstone-300。Corstone-1000是首款為Cortex-A設(shè)計(jì)的子系統(tǒng)，該方案基本配置是經(jīng)過(guò)量產(chǎn)考驗(yàn)的Cortex-A35或Cortex-A53。而Corstone-300則在智能視覺(jué)參考設(shè)計(jì)中，作為低功耗待機(jī)子系統(tǒng)，降低邊緣設(shè)備的功耗，提高系統(tǒng)效率。ISP選用的是Arm在去年六月發(fā)布的Mali-C55，其也是Arm迄今為止面積最小、功耗最低、且可配置性最高的ISP產(chǎn)品。

而參考設(shè)計(jì)中的VPU和NPU則是來(lái)自于安謀科技自研的“玲瓏”VPU和“周易”NPU。

馬健表示，Arm的這款智能視覺(jué)參考設(shè)計(jì)非常與眾不同，一是因?yàn)樗捎贸墒斓腁rm CPU IP作為基礎(chǔ)，Arm CPU在智能攝像頭領(lǐng)域已占有九成以上份額，已經(jīng)應(yīng)用于諸多智能視覺(jué)品牌設(shè)備，形成了強(qiáng)大的軟件生態(tài)系統(tǒng)。

另外，該設(shè)計(jì)帶有低功耗待機(jī)子系統(tǒng)，可以支持電池供電的視覺(jué)設(shè)備。安謀科技的玲瓏VPU提供了緊湊、多格式和高效的視頻編解碼器，以及周易NPU的高達(dá)4個(gè)TOPS的ML加速，使該參考設(shè)計(jì)可以支持機(jī)器視覺(jué)的用例。

此外，在發(fā)布智能視覺(jué)參考設(shè)計(jì)的同時(shí)，Arm也宣布了“Arm智能視覺(jué)合作伙伴計(jì)劃”，將攜手AI視覺(jué)、芯片設(shè)計(jì)、軟件、算法、系統(tǒng)集成等合作伙伴共同打造基于Arm架構(gòu)的智能視覺(jué)應(yīng)用的強(qiáng)大生態(tài)。

面向中國(guó)市場(chǎng)

據(jù)馬健介紹，Arm的這款智能視覺(jué)參考設(shè)計(jì)目前只面向中國(guó)市場(chǎng)。她表示，中國(guó)作為人口大國(guó)，快速的城市化，從制造到零售等行業(yè)的自動(dòng)化程度不斷提高，以及機(jī)器學(xué)習(xí)和物聯(lián)網(wǎng)的重大技術(shù)突破，使中國(guó)對(duì)視覺(jué)設(shè)備的需求以及在視覺(jué)技術(shù)方面的創(chuàng)新都穩(wěn)步增長(zhǎng)。

另外，我們也聽(tīng)到很多來(lái)自中國(guó)Arm合作伙伴的反饋，他們普遍認(rèn)為中國(guó)很多的IPC視覺(jué)系統(tǒng)已經(jīng)進(jìn)入紅海市場(chǎng)。在中國(guó)這個(gè)競(jìng)爭(zhēng)非常激烈的市場(chǎng)中，視覺(jué)系統(tǒng)的設(shè)計(jì)者和制造商都必須能夠把自己最新的想法、自己的差異化盡快地達(dá)到量產(chǎn)的水平，推向市場(chǎng)。怎樣才能讓合作伙伴能夠聚焦于他們的差異化，而不是去做很多重復(fù)性的基礎(chǔ)IP整合工作、基礎(chǔ)軟件的開(kāi)發(fā)工作，這其實(shí)就是Arm和安謀科技攜手合作推出Arm智能視覺(jué)參考設(shè)計(jì)的初衷。

最后，馬健總結(jié)道，隨著AI和大模型一日千里的發(fā)展，智能視覺(jué)技術(shù)將繼續(xù)在所有垂直行業(yè)得到更廣泛的應(yīng)用，視覺(jué)將無(wú)處不在。在視覺(jué)成為一種普世能力的趨勢(shì)下，預(yù)先集成、預(yù)先驗(yàn)證的標(biāo)準(zhǔn)化子系統(tǒng)會(huì)為加速視覺(jué)產(chǎn)品設(shè)計(jì)和創(chuàng)新提供堅(jiān)實(shí)的基礎(chǔ)。