国产久操视频-国产久草视频-国产久热精品-国产久热香蕉在线观看-青青青青娱乐-青青青青在线成人视99

進迭時空成功部署「RISC-V + OpenHarmony + 本地大模型」全棧方案

04/03 07:12
693
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

基于RISC-V AI CPU芯片K1與OpenHarmony 5.0生態(tài),進迭時空采用融合AI架構(gòu)實現(xiàn)首個RISC-V + OpenHarmony + 本地大模型的全棧方案,可以在進迭時空MUSE Paper平板上部署通義千問0.5B、1.5B以及DeepSeek-R1-1.5B等大模型,打造從硬件到系統(tǒng)的全棧創(chuàng)新AI解決方案。無需復雜適配、無需高昂算力成本,適用終端設備大模型新AI智能化升級。

技術路線:同構(gòu)融合AI架構(gòu)

相對于傳統(tǒng)“CPU + NPU”異構(gòu)方案,進迭時空通過同構(gòu)融合架構(gòu)提供了一條新的技術路線:

1.統(tǒng)一指令集:共同使用RISC-V指令集驅(qū)動通用計算和AI計算。

2.開放可編程:便捷接入RISC-V開源生態(tài),適配各種私有算子和新模型結(jié)構(gòu)的迭代。

基于同構(gòu)融合的架構(gòu),我們已經(jīng)接入llamacpp及ollama生態(tài),逐步接入Pytorch及vLLm等大模型生態(tài)中。

技術方案

模型運行環(huán)境(foundation/ai/ds_r1_service)

  • 模型部署:
    基礎模型:DeepSeek-R1-1.5B-Q4(4bit 量化)
  • 推理服務化:
    實現(xiàn) OHOS AI 標準接口
    支持 JS/TS 跨語言調(diào)用

系統(tǒng)級優(yōu)化(kernel/linux/arch/riscv)

  • 調(diào)度策略:
    推理進程綁定 CPU0-3(RV64 四核,屏蔽中斷)
    使用 SCHED_FIFO 實時調(diào)度(優(yōu)先級 99,高于系統(tǒng)服務)

方案價值

全棧創(chuàng)新,安全與開放兼得

  • 全棧創(chuàng)新:采用K1芯片+ OpenHarmony 5.0系統(tǒng)+本地大模型,實現(xiàn)從硬件到系統(tǒng)到算法的全棧創(chuàng)新。
  • 數(shù)據(jù)安全:模型文件SELinux加密,在工業(yè)診斷、教育答題等敏感場景下,確保數(shù)據(jù)嚴格留存于本地設備,杜絕數(shù)據(jù)外流。
  • 生態(tài)開放:擁抱開源生態(tài),已接入llamacpp生態(tài),即將支持ONNXRuntime生態(tài),后續(xù)將逐步接入PyTorch及vLLM生態(tài)。

性能與成本平衡

  • 快速推理:通過標準256bit RVV向量指令及自定義AI指令集,深度優(yōu)化AI模型推理性能,提升0.5B和1.5B模型的運行速度。
  • 8核智能調(diào)度:8核CPU智能分工——4核專注大模型推理任務,4核并行處理系統(tǒng)任務,性能有保障。
  • 輕量部署:4GB跑1.5B參數(shù)模型,端側(cè)設備直接安裝。

高效開發(fā),快速部署

  • 提供完整的AI基礎和OpenHarmony系統(tǒng)LLM運行庫和應用開發(fā)demo。
  • 輕松部署:標準化AI接口(OHOS IAiModelAgent),JS/TS跨語言一鍵調(diào)用。一鍵部署AI組件,運行LLM(10分鐘完成LLM組件加載)。

應用場景

工業(yè)場景(邊緣設備問答與控制)

采用K1芯片的工業(yè)網(wǎng)關,無需聯(lián)網(wǎng),即可實現(xiàn)本地響應設備故障咨詢及本地故障診斷響應。

教育場景(智能學習輔導)

K1芯片教育平板,提供離線智能輔導、作業(yè)批改、趣味學習等功能,定義AI教育新模式。同時,模型文件存儲受SELinux保護,僅AI服務可讀寫,保障數(shù)據(jù)安全。

家居場景(低功耗智能控制)

K1芯片智能語音設備,待機時主頻降至600MHz,實現(xiàn)低功耗運行。

文檔與生態(tài)

開發(fā)指南:《OH5.0 標準系統(tǒng)下 DeepSeek-R1 部署指南》

示例代碼:提供 JS/TS 調(diào)用示例

兼容性聲明:支持 OH5.0 標準系統(tǒng) + SpacemiT K1產(chǎn)品發(fā)布計劃

參考開發(fā)硬件平臺:MUSE Paper

相關文檔請登錄https://archive.spacemit.com/tools/openharmony/ai/下載。

相關推薦

青州市| 汉源县| 望谟县| 大悟县| 武定县| 定安县| 阿勒泰市| 毕节市| 库车县| 木兰县| 当雄县| 平度市| 东辽县| 呼伦贝尔市| 贺州市| 兴山县| 普定县| 永定县| 安徽省| 永州市| 亚东县| 邓州市| 中阳县| 瑞昌市| 南丰县| 扬中市| 拜城县| 彩票| 怀柔区| 沾化县| 大港区| 虎林市| 石门县| 平利县| 炉霍县| 柘城县| 六枝特区| 巩留县| 安多县| 云南省| 河东区|