国产久操视频-国产久草视频-国产久热精品-国产久热香蕉在线观看-青青青青娱乐-青青青青在线成人视99

  • 正文
    • 1 算力網(wǎng)絡和分布式云的概念
    • 2 從計算形態(tài)看算力網(wǎng)絡
    • 3 面向未來十年的宏觀計算系統(tǒng)特征
    • 4 體系結構視角看算力網(wǎng)絡
  • 相關推薦
申請入駐 產(chǎn)業(yè)圖譜

從算力網(wǎng)絡發(fā)展,看未來十年的宏觀算力體系

2023/05/08
1267
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

三大運營商都在積極地推廣“算力網(wǎng)絡”的相關技術概念落地,互聯(lián)網(wǎng)公司有類似的概念叫“分布式云”。個人理解,兩個概念的技術實現(xiàn)基本相同,不同點在于:算力網(wǎng)絡站在基礎計算環(huán)境的視角,著眼于算力資源的整合;分布式云從業(yè)務服務的視角,著眼于計算以何種形式提供。

今天這篇文章,拋磚引玉,探討一下宏觀視角的算力網(wǎng)絡的底層算力體系。

1 算力網(wǎng)絡和分布式云的概念

Garnter 2021年發(fā)布的戰(zhàn)略技術趨勢,將分布式云(Distributed Cloud)列為云計算的重要戰(zhàn)略技術趨勢。分布式云的定義:將公有云服務分布到不同的物理位置(即邊緣),而服務的所有權、運營、治理、更新和發(fā)展仍然由原始公有云提供商負責。解決客戶讓云計算資源靠近數(shù)據(jù)和業(yè)務活動發(fā)生的物理位置的需求。分布式云是整合公有云、私有云和邊緣云在一起,核心思想是,讓公有云的全棧服務能力延伸到最靠近用戶所需的地方。分布式云,本質上是一朵云,由云負責調配計算資源。雖然中間需要網(wǎng)絡,但是網(wǎng)絡主要是承擔管道的角色。

按照運營商的觀點,算力網(wǎng)絡是云網(wǎng)協(xié)同和分布式云的升級版,指的是:在計算能力不斷泛在化發(fā)展的基礎上,通過網(wǎng)絡手段將計算、存儲等基礎資源在云-邊-端之間進行有效調配的方式,以此提升業(yè)務服務質量和用戶的服務體驗。算力網(wǎng)絡中的網(wǎng)絡非常關鍵:網(wǎng)絡是用戶去往算力資源的必經(jīng)之路,也是用戶發(fā)起業(yè)務需求的入口,通過網(wǎng)絡調配算力。

站在用戶業(yè)務的角度,分布式云和算力網(wǎng)絡的目標是一致的:云網(wǎng)邊端從協(xié)同走向融合。算力網(wǎng)絡是網(wǎng)絡擁有者為滿足這類需求,提出的方案;分布式云是云計算廠商為滿足同樣的需求,提出的方案。從趨勢看,兩種方式是既合作又競爭的關系,隨著未來技術和業(yè)務的不斷發(fā)展,兩種方式會逐漸趨于統(tǒng)一。

2 從計算形態(tài)看算力網(wǎng)絡

2.1 計算機的資源分類

在傳統(tǒng)CPU的計算機架構里,計算機資源主要分為三類:CPU、內存和外設。在異構和超異構的計算體系下,計算機的硬件資源可以分為四類:

CPU:站在控制的視角,CPU作為中央處理器,是整個系統(tǒng)的核心;站在計算的視角,CPU和其他加速器一樣,是用于計算的處理器之一。

內存:在異構或超異構計算體系下,內存的概念同經(jīng)典架構下意義相同;區(qū)別在于,在異構或超異構情況下,內存的訪問者更多,訪問更加頻繁,帶寬等性能要求更高。

I/O設備:同經(jīng)典架構下意義基本相同。

其他的加速處理器:如GPU、AI-DSA、網(wǎng)絡DSA,以及各種ASIC類的加速器等。從CPU視角看,其他的加速器是和I/O設備對等的“外部設備”;而從計算的視角看,其他的加速器是和CPU對等的計算處理器。

2.2 IaaS服務分類

IaaS服務主要分為四類:計算、網(wǎng)絡、存儲和安全,詳細分析如下:

計算類:不管是裸金屬機、虛擬機或者容器的形態(tài),云計算的主機或容器硬件平臺都是由計算機的四大大資源組件組成的:

計算的CPU處理器,不管是通用(CPU)計算,還是異構計算,CPU都是不可缺少的資源組件。

計算的加速處理器,異構計算需要有GPU、AI加速等加速處理器資源組件。

計算的內存,內存是用于計算暫存的存儲資源。

網(wǎng)絡和存儲I/O,是計算不可或缺的組件;在IaaS體系里,網(wǎng)絡和存儲通常以獨立服務的形態(tài)存在。

根據(jù)業(yè)務場景的需要,計算的硬件平臺是這些資源的不同規(guī)格不同比例的組合。

根據(jù)需要,可以通過很多種方式,實現(xiàn)所有資源的池化,以及實現(xiàn)硬件平臺計算資源的本地或(和)遠程擴展。

網(wǎng)絡類:狹義的網(wǎng)絡只是一個網(wǎng)卡,為計算提供網(wǎng)絡訪問的通道。廣義的網(wǎng)絡類服務,包括兩類:網(wǎng)絡轉發(fā),如VPC、EIP、各類網(wǎng)關、LB等;網(wǎng)絡通信:如高性能網(wǎng)絡、確定性網(wǎng)絡等。

存儲類:從計算的角度看,外存是計算的輸入輸出,即使計算機關機,外存的數(shù)據(jù)依然存在。但從云服務器的視角看,本地外部存儲是臨時存儲,當云服務器資源被銷毀后,也會銷毀本地存儲的數(shù)據(jù)。要想長期地持久化地保存數(shù)據(jù),則需要采用遠程的分布式存儲。本地臨時存儲和分布式的快存儲、對象存儲、歸檔存儲等都是以服務的形式,支撐計算類服務。

安全類:安全的計算,如可信計算;安全的網(wǎng)絡,如防火墻;安全的存儲,如數(shù)據(jù)加解密等。安全是個非常龐大的話題,無處不在,這里我們不再展開。

2.3 算力網(wǎng)絡的兩種類型

簡單介紹一下Serverless的概念。Redhat給出的Serverless定義為:“無服務器是一種云原生開發(fā)模型,可使開發(fā)人員專注構建和運行應用,而無需管理服務器。無服務器方案中仍然有服務器,但它們已從應用開發(fā)中抽離了出來。云提供商負責置備、維護和擴展服務器基礎架構等例行工作。開發(fā)人員可以簡單地將代碼打包到容器中進行部署。部署之后,無服務器應用即可響應需求,并根據(jù)需要自動擴容。公共云提供商的無服務器產(chǎn)品通常通過一種事件驅動執(zhí)行模型來按需計量。因此,當無服務器功能閑置時,不會產(chǎn)生費用?!?/p>

通俗易懂的講,有服務器的服務,需要用戶自己創(chuàng)建服務的具體實例Instance,一個實例只能歸屬于一個用戶,一個用戶可以擁有一個或多個實例;而Serverless類型的服務則不需要創(chuàng)建服務實例,直接使用服務即可,很多用戶共享使用同一個服務“實例”(不是所有用戶,服務軟件在不同數(shù)據(jù)中心的部署可以是不同的服務)。至于服務所需要的各種底層資源,用戶不需要關心,服務可以根據(jù)業(yè)務使用的情況自動地擴縮容等。

也因此,算力網(wǎng)絡的實現(xiàn)形態(tài),我們大體上可以分為兩個類型:有服務器型和無服務器型。

類型1,有服務器型

有服務器的形態(tài),更接近算力網(wǎng)絡的概念。通過網(wǎng)絡等方式實現(xiàn)數(shù)據(jù)中心的以及跨數(shù)據(jù)中心的各類資源的池化,然后再通過云裸金屬機、云虛擬機、云容器等方式組合出供用戶業(yè)務運行的硬件的計算平臺。

可以根據(jù)用戶的需求,在云、網(wǎng)、邊、端的任何位置,組合出規(guī)格和形態(tài)各異的計算平臺,給用戶提供最優(yōu)的算力服務,實現(xiàn)算力的無處不在。

類型2,Serverless無服務器型

業(yè)務軟件,經(jīng)典的C/S或B/S架構,一切皆(微)服務的架構下,可以簡單地理解成客戶端和多個微服務組成的分布式軟件。

Serverless無服務器型,更接近分布式云的概念。類似分布式云的早期經(jīng)典案例是CDN,當用戶訪問加入CDN服務的網(wǎng)站時,域名解析請求將最終交給全局負載均衡DNS進行處理。全局負載均衡DNS通過一組預先定義好的策略,將當時最接近用戶的節(jié)點地址提供給用戶,使用戶能夠得到快速的服務。CDN只是一些靜態(tài)內容,而分布式云則需要把服務分布式的放置在邊緣等節(jié)點。

在分布式云的體系下,用戶不需要關心底層的主機和容器,只需要關注自己的業(yè)務邏輯。通常情況下,客戶端可以運行在終端本地(不排除有的系統(tǒng)只在服務器運行,客戶端也運行在服務器側),具體的運行位置用戶不需要關心。云服務供應商可以根據(jù)微服務所需的帶寬、時延、性能、成本等要求,選擇最優(yōu)的運行環(huán)境,它可以是終端本地,也可以是邊緣、網(wǎng)絡或者云端。并且,這些服務還可以根據(jù)環(huán)境的變化,動態(tài)地調整運行的位置。

3 面向未來十年的宏觀計算系統(tǒng)特征

3.1 需求的未知

首先,系統(tǒng)場景一直在快速變化:上層軟件場景層出不窮,兩年一個新熱點,已有熱點仍在快速演進。并且,宏觀大系統(tǒng),計算資源是預先準備好的。購買和部署相關資源時,并不知道具體的計算資源會分配給哪個用戶,也不知道用戶在此資源上會運行什么任務。此外,資源分配和任務運行會一直動態(tài)變化。

傳統(tǒng)芯片和系統(tǒng)設計,需要先理解場景,然后根據(jù)場景需求來設計芯片和系統(tǒng)。未來的挑戰(zhàn)是,系統(tǒng)的場景需求是不確定的;不但芯片公司不了解,客戶自己也“不了解”。

因此,復雜計算系統(tǒng)的設計,需要“無的放矢”。

3.2 全面而綜合

不管是云計算數(shù)據(jù)中心系統(tǒng),還是云網(wǎng)邊端萬物互聯(lián)系統(tǒng),亦或是云宇宙虛實融合系統(tǒng),宏觀的計算系統(tǒng),只有“一個”。

然而,千千萬不同用戶的需求多種多樣;并且,用戶的需求一直處于快速的變化中;此外,還會不斷有新增用戶和新增需求。

因此,系統(tǒng)需要有包羅萬象的能力,即面對已知的和未知的各種各樣的需求,系統(tǒng)都要能夠支持。

3.3 專業(yè)而高效

通常情況下,“專業(yè)的人做專業(yè)的事”。言下之意是:專才只能做本領域的事情,其他領域的事情幾乎做不了。與此同時,通才什么事情都能做,但在每個領域都不夠高效。

但對宏觀的復雜計算系統(tǒng)來說,系統(tǒng)不僅僅要能干幾乎所有事情,并且干任何事情都要足夠的專業(yè)而且高效,達到既通又專。

3.4 超級并發(fā)

數(shù)以億計的用戶,數(shù)以萬億計的用戶任務,而系統(tǒng)只有“一個”。

千千萬用戶的計算需求需要及時響應,用戶的工作任務需要快速地處理。

因此,同一時刻,系統(tǒng)并發(fā)處理數(shù)以億計的各種類型的用戶任務。

3.5 無處不在

系統(tǒng)覆蓋非常廣泛的地域,實現(xiàn)算力無處不在,使得算力資源唾手可得。

即在任何地方,任何時刻,為用戶的任何工作任務,都能提供算力和相關資源支撐。

并且,需要以最合適的形態(tài),最合適的方式,給用戶更好的體驗,為用戶創(chuàng)造更大的價值。

3.6 快速演進

上層軟件應用層出不窮,系統(tǒng)需求快速變化。并且,同一領域,不同用戶的需求具有差異性;與此同時,同一用戶的業(yè)務需求仍會快速迭代。

宏觀地看,用戶以及用戶需要運行的任務,一直處于不斷地變化狀態(tài)。

復雜而融合的系統(tǒng),需要持續(xù)快速演進,才能適應上層業(yè)務需求的不斷變化。

4 體系結構視角看算力網(wǎng)絡

4.1 算力資源的多樣性

隨著CPU的性能瓶頸,我們需要通過GPU、FPGA、DSA等各種形態(tài)的加速處理器,來持續(xù)不斷地提升性能和算力。也因此,計算的資源,就不僅僅是CPU了,而是多種架構多種類型處理器的組合:

CPU:包括x86、ARM和RISC-v等各種架構的CPU,并且每種CPU還有Vector、Matrix、Tensor等各種加速的協(xié)處理器。

GPU:GPU作為通用的并行計算平臺,是使用最廣泛的加速計算處理器。并且,目前的GPU除了支持通用計算的CUDA外,還集成了更高效加速處理的Tensor Core,進一步提升了GPU的加速能力。

FPGA:通過各種硬件編程設計,實現(xiàn)各種形態(tài)各種架構的計算引擎。

DSA:計算有很多領域,每種領域還有很多公司的很多DSA,甚至同一家公司同域但不同代的DSA架構也有可能不同。

ASIC:ASIC完全面向特定場景,不同領域的不同場景,都有形態(tài)和架構各異的各種ASIC引擎。

這么多的處理器類型,這么多的處理器架構,造就了算力網(wǎng)絡計算資源的多樣性特征。

性能和靈活性是一對矛盾,對單個處理器引擎來說,如果要性能就必須損失靈活性,如果要靈活性必然損失性能。然而,支撐算力網(wǎng)絡的宏觀計算系統(tǒng),既要“全面而綜合”,又要“專業(yè)而高效”。怎么辦?

通過CPU、GPU、DSA等多種類型的處理器相互協(xié)作,實現(xiàn)團隊作戰(zhàn)。每個處理器引擎各司其職,發(fā)揮各自的性能/靈活性優(yōu)勢,從而實現(xiàn)宏觀意義上的性能和靈活性的兼顧和微觀上的每個處理的高效和高性能。

4.2 算力資源的融合

算力資源的多樣性,其實也就是算力資源的碎片化,并不是一個好的現(xiàn)象。

4.2.1 算力資源的池化

如果每個處理器核是一個孤島式的計算資源,那么就沒有意義。算力網(wǎng)絡的價值本就在涓涓小溪流匯聚成大海,這是算力網(wǎng)絡的基礎。這樣,把宏觀的不同云/邊緣數(shù)據(jù)中心、不同終端設備的計算資源匯聚在一起,形成算力的統(tǒng)一的大資源池。

網(wǎng)絡本身更多承擔的是連接和總線的角色,網(wǎng)絡設備中也會有一些計算和存儲的資源,可以歸屬到計算或存儲資源類型。

池化雖然可以把不同服務器不同設備上的相同計算資源連成一個資源池,但受限于算力資源的多樣性,不同類型不同架構的資源仍然是無法整合到一起的。因此,算力資源的池不是一個,而是很多很多個。比如x86和ARM、RISC-v的CPU資源就無法整合到一個池里;不同廠家的GPU也無法整合到一個資源池里;甚至存儲或網(wǎng)絡I/O設備,因為接口的不同,也可能無法整合到一個資源池;包括各種DSA/FPGA/ASIC,更是無法整合。

當有多達上百個不同類型不同架構的資源池的時候,其實已經(jīng)弱化了資源池化的價值。

4.2.2 算力資源的聚合

ChatGPT等AI模型對算力的需求,每2個月翻一倍。如此快速的算力增長,目前只能通過Scale out的方式來提升整個計算集群的性能。但隨著集群規(guī)模的擴展,集群的損耗變得越來越不可承受:集群內部東西向的網(wǎng)絡流量會占到90%以上,真正外部交互的流量只有不到10%。這個現(xiàn)象也符合阿姆達爾規(guī)律,受限于系統(tǒng)中串行部分的影響,隨著并行計算的節(jié)點越來越多,通過提升并行數(shù)量來提升系統(tǒng)性能的方式會逐漸遇到瓶頸。

也因此,在Scale out方式無法進一步提升系統(tǒng)性能的情況下,提升性能的方式只能通過Scale up。也就是要提升單個計算節(jié)點的性能。也因此,單個計算節(jié)點的計算架構需要從現(xiàn)在的異構計算逐步過渡到多個異構融合的超異構計算架構。

4.2.3 軟件需要跨硬件移動

傳統(tǒng)場景下,軟件通常附著在硬件之上,兩者是綁定的??梢酝ㄟ^如HAL一樣的抽象層來實現(xiàn)平臺的標準化,然后再部署操作系統(tǒng)和應用軟件。而在系統(tǒng)越來越復雜的情況下,軟件的實體,如虛擬機、容器等,需要在不同的硬件上遷移,這就使得軟件和硬件逐漸分開了。

通常來說,可以通過虛擬化實現(xiàn)硬件架構的屏蔽,軟件不需要太多關注硬件的架構和接口。但隨著虛擬化技術的完全硬件化,硬件的架構和接口完全地暴露給了上層的虛擬機或容器。這就對硬件的架構和接口提出了更加嚴苛的要求。

4.2.4 開放架構和生態(tài),讓架構收斂

CPU、GPU、AI-DSA等只有單個類型架構的處理器,一家公司只做私有的架構,如果公司的產(chǎn)品成功,那么就可以獨占整個生態(tài)。這里的成功案例如Intel的x86,NVIDIA的CUDA。

在同構和異構時代,這種做法是可能成功的;但到了處理器架構非常多的超異構時代,這種做法幾乎不可行。因為沒有任何一家公司能做到,在所有的計算架構上都能夠做到最好。并且“百花齊放”的做法,其實在進一步分裂整個計算生態(tài),與算力網(wǎng)絡資源池化和云網(wǎng)邊端融合的發(fā)展趨勢相悖。

在超異構時代,唯一能成功的方式是,大家都遵循一定的架構規(guī)范,從而形成開放的架構和生態(tài),讓計算的架構逐漸收斂,從而能發(fā)揮算力資源池化的優(yōu)勢,真正實現(xiàn)算力無所不在。

 

相關推薦

登錄即可解鎖
  • 海量技術文章
  • 設計資源下載
  • 產(chǎn)業(yè)鏈客戶資源
  • 寫文章/發(fā)需求
立即登錄

公眾號:軟硬件融合;CPU靈活性好但性能較差,ASIC性能極致但靈活性差,魚和熊掌如何兼得,同時兼顧性能和靈活性,我給出的方案是“軟硬件融合”。軟硬件融合不是說要軟硬件緊耦合,相反,是要權衡在不同層次和粒度解耦之后,再更加充分的協(xié)同。

施秉县| 盐池县| 澳门| 罗山县| 逊克县| 七台河市| 汤原县| 阳信县| 吴川市| 宝清县| 天全县| 当涂县| 江永县| 浦江县| 当阳市| 洛阳市| 清水县| 寻乌县| 伊川县| 龙州县| 根河市| 平南县| 吴江市| 武鸣县| 蕉岭县| 江城| 仁化县| 贵州省| 资阳市| 贵阳市| 炉霍县| 武夷山市| 余江县| 岑溪市| 定西市| 阜宁县| 安福县| 黄山市| 延津县| 鹿邑县| 渭南市|