Deepseek在多語(yǔ)言互動(dòng)，知識(shí)檢索生成，圖像視頻處理，數(shù)據(jù)分析，商業(yè)決策等場(chǎng)景中已展示出強(qiáng)大推理能力，而如何更好地應(yīng)用于各行業(yè)已成為行業(yè)探索新方向。
中小企業(yè)是經(jīng)濟(jì)結(jié)構(gòu)中的主力軍，是推動(dòng)經(jīng)濟(jì)發(fā)展的重要驅(qū)動(dòng)力。中小企業(yè)活躍于各個(gè)行業(yè)，通過(guò)不斷創(chuàng)新和拓展，為經(jīng)濟(jì)發(fā)展注入新的活力，推動(dòng)產(chǎn)業(yè)升級(jí)和經(jīng)濟(jì)結(jié)構(gòu)調(diào)整。
此前，安擎智選推薦了基于海光平臺(tái)適配DeepSeek的全國(guó)產(chǎn)化算力配置。今天安擎智選將針對(duì)中小企業(yè)的業(yè)務(wù)咨詢、視頻處理、仿真系統(tǒng)等推理需求，推薦特定解決方案。
Deepseek發(fā)布了不同參數(shù)量的蒸餾模型版本以適應(yīng)差異化場(chǎng)景需求，其中DeepSeek-R1-Distill-Qwen-32B能夠以高性價(jià)比的TCO成本，滿足中小型企業(yè)的推理需求，針對(duì)這一模型部署安擎推薦如下算力解決方案：
一、顯存計(jì)算需求
為保障系統(tǒng)輸出精度，部署的DeepSeek-R1-Distill-Qwen-32B采用FP16 精度，中間激活KV顯存為2GB，根據(jù)以下公式計(jì)算所需的顯存： 模型運(yùn)行所需顯存=模型參數(shù)量×精度系數(shù)+中間激活KV緩存+10%~20% 其他消耗 其中： 模型參數(shù)量：32B 中間激活KV：2GB FP16 精度系數(shù)：2 計(jì)算可得： 最小顯存需求：32×2+2+(64+2)×10% =72.6G 依據(jù)以上結(jié)果，GPU卡的最小組合需求數(shù)量為：2張 Nvidia L20卡（2*48=96GB顯存）或4張Nvidia 24GB GPU卡(4*24=96GB顯存)。
二、推薦配置
為滿足32B大模型顯存需求，安擎推薦兩款10萬(wàn)元級(jí)算力配置。 配置一： 采用安擎EG5221G4+2*NV L20構(gòu)建算力平臺(tái)，F(xiàn)P16算力為240TFLOPS；該配置適用于中小企業(yè)智能服務(wù)和生產(chǎn)輔助等場(chǎng)景，價(jià)格在10萬(wàn)元級(jí)別。 EG5221G4是針對(duì)互聯(lián)網(wǎng)、IDC、云計(jì)算、各類企業(yè)市場(chǎng)等需求，推出的具有廣泛用途的新一代2U2路機(jī)架式旗艦服務(wù)器，適用于AI計(jì)算、云計(jì)算、虛擬化、分布式存儲(chǔ)、大數(shù)據(jù)處理應(yīng)用及其它復(fù)雜工作負(fù)載。
配置二：
采用安擎EG540-G30+4*NV 24GB顯存GPU構(gòu)建算力平臺(tái)，F(xiàn)P16算力為294TFLOPS；該配置適用于中小企業(yè)業(yè)務(wù)分析和科研仿真等場(chǎng)景，售價(jià)10萬(wàn)元級(jí)。 安擎EG540-G30 是基于Intel?Xeon?可擴(kuò)展處理器開(kāi)發(fā)的一款4U雙路GPU服務(wù)器。16通道DDR4內(nèi)存，PCIe4.0 擴(kuò)展，作為高性價(jià)比的雙路方案，EG540-G30 具有高性能、低噪音、低功耗、可擴(kuò)展性強(qiáng)、高可靠性、易維護(hù)性、高性價(jià)比的特點(diǎn)。
安擎一直致力于為客戶搭建可靠的算力底座和解決方案，針對(duì)Deepseek大模型的架構(gòu)特點(diǎn)，結(jié)合使用場(chǎng)景并充分測(cè)試驗(yàn)證，安擎可為各場(chǎng)景客戶提供一整套算力推薦配置。
若您對(duì)上述方案感興趣，歡迎隨時(shí)留言，我們期待為您答疑解惑，提供更詳盡的信息與服務(wù)。
公眾號(hào)
公網(wǎng)安備 12011402001065號(hào) 
