目前，AI模型的主干網(wǎng)絡正從CNN轉變?yōu)門ransformer，因為后者具有精度高、全局性特征、多模態(tài)和遷移性強的特點。在云端，用Transformer已經可以實現(xiàn)虛擬教師、AI智能對話（例如ChatGPT），代碼自動生成等場景，可以用GPU加速計算Transformer，但在端側——如機器人、智慧教育等場景——目前的處理器在Transformer的加速計算上還面臨難題。

視海芯圖微電子創(chuàng)始人、董事長許達文解釋，終端產品往往采用NPU來加速計算，不同于CNN是以計算為核心的架構，Transformer更多是以數(shù)據(jù)為中心的計算架構，Embedding、Attention等都是訪存密集型算子，這樣要么很難映射到NPU上，要么映射利用率很低，需要CPU配合，存在Transformer映射中斷的挑戰(zhàn)。

這些算力挑戰(zhàn)需要創(chuàng)新的處理能力。許達文認為，當前的算力革命就是DRAM存算技術，是Transformer是否能自頂而下，普遍進入廣泛AI應用領域的關鍵。DRAM存算技術結合了3D集成工藝和創(chuàng)新架構，可以有效克服系統(tǒng)訪存瓶頸，實現(xiàn)加速Transformer，同時極大減低芯片功耗。在工藝上，3D集成可以把DRAM/內存和計算邏輯進行垂直互聯(lián)，百倍提高數(shù)據(jù)互聯(lián)帶寬。在架構上，電路定制、模型并行和數(shù)據(jù)并行等多種技術可以圍繞Transformer結構進行定向加速。

在這個方向上，視海芯圖創(chuàng)新性使用DRAM存算技術進行神經網(wǎng)絡運算和圖像處理加速，解決了其中的存儲墻問題，實現(xiàn)了超低功耗的算力芯片。日前，在2023松山湖中國IC創(chuàng)新高峰論壇上，該公司介紹了其最新推出的一款智能視覺SoC SH1580 ，集成了4億晶體管，采用12nm工藝。

除了3D視覺ISP，4核Arm CPU A53外，該芯片的核心技術是視海芯圖自主設計的多態(tài)神經網(wǎng)絡處理器（PTPU）。該處理器具備4 ToPS算力，不僅能支持善于提取局部特征的CNN，也對Transformer、Bert和點云神經網(wǎng)絡等新興AI模型有針對性加速效果。

圖：SH100核心技術多態(tài)神經網(wǎng)絡處理器（PTPU）

SH100采用多通道DDR，具備超高數(shù)據(jù)高帶寬，針對新興AI模型優(yōu)化的片上存儲模塊設計，可以為片內計算陣列提供可重構的高速數(shù)據(jù)流，從而，讓視頻流AI處理、多模態(tài)數(shù)據(jù)融合和點云神經網(wǎng)絡等在AIoT終端落地實現(xiàn)可能，該芯片目標應用集中在智能教育硬件、服務機器人和ADAS等領域。

目前，視海芯圖正在和中國科學院計算技術研究所展開合作，并獲得舜宇光學、網(wǎng)易有道和虹軟科技3家上市公司的戰(zhàn)略投資，已經和股東合作，圍繞IoT、元宇宙和車載方面的核心圖像處理算法進行存算一體加速，研發(fā)通用芯片。