• 邊緣AI推理趨勢下，GDDR7內(nèi)存有望勝出？

  邊緣計(jì)算在低延遲、高帶寬、隱私保護(hù)等方面展現(xiàn)出較強(qiáng)優(yōu)勢，使得大模型在邊緣端的推理逐漸成為可能，也進(jìn)一步推動(dòng)了AI推理向邊緣下沉的趨勢，以降低對云端計(jì)算的依賴、提高系統(tǒng)的響應(yīng)速度。

  張慧娟

  1958

  2024/07/24

  與非觀察 內(nèi)存
• 車載大模型計(jì)算分析：存儲帶寬遠(yuǎn)比算力重要

  車載大模型的定義尚無，傳統(tǒng)大模型即LLM的參數(shù)一般在70億至2000億之間，而早期的CNN模型參數(shù)通常不到1000萬，CNN模型目前大多做骨干網(wǎng)使用，參數(shù)飛速增加。特斯拉使用META的RegNet，參數(shù)為8400萬，消耗運(yùn)算資源很少，得分82.9也算不低；小米UniOcc使用META的ConvNeXt-B，參數(shù)8900萬，消耗運(yùn)算資源最少，得分83.8；華為RadOcc使用微軟的Swin-B，參數(shù)8800萬。相對于早期的CNN模型，這些都可以叫大模型，但要與真正意義上的ChatGPT之類的LLM大模型比，這些是小模型都稱不上，只能叫微模型。

  佐思產(chǎn)研

  3810

  2024/06/18

  自動(dòng)駕駛 大模型

  
• 存儲兩旬，迎來DDR6

  近期，JEDEC（固態(tài)技術(shù)協(xié)會(huì)是微電子產(chǎn)業(yè)的領(lǐng)導(dǎo)標(biāo)準(zhǔn)機(jī)構(gòu)）除了籌備制定新一代DDR6高性能內(nèi)存，還在積極準(zhǔn)備新一代低功耗內(nèi)存LPDDR6，主要用于智能手機(jī)、輕薄筆記本等。

  半導(dǎo)體產(chǎn)業(yè)縱橫

  1729

  2024/06/05

  AI DRAM芯片

  

正在努力加載...