很多行業(yè)/企業(yè)都在接入DeepSeek一體機(jī)，表明了行業(yè)/企業(yè)都在積極擁抱AI大模型，擁抱AI大模型等于擁抱未來！

  接入DeepSeek一體機(jī)沒有錯(cuò)，但如何選對一體機(jī)則大有學(xué)問，不要以為，接下來要談滿血版、殘血版的話題，實(shí)際上，接下來要言談話題，更為重要。這就是DOIT視頻號《選型中的學(xué)問，DeepSeek一體機(jī)不僅是滿血版！》直播，安擎計(jì)算機(jī)信息股份有限公司（以下簡稱'安擎'）首席架構(gòu)師張駿、安擎產(chǎn)品技術(shù)總監(jiān)劉龍、百易存儲研究院負(fù)責(zé)人宋家雨等嘉賓希望交流的話題。

你要關(guān)注一體機(jī)顯存容量

  接入DeepSeek一體機(jī)，顯存容量是一個(gè)特別重要的指標(biāo)，實(shí)際上，671B滿血版也好、70B殘血版也好，體現(xiàn)在一體機(jī)上，其中最需要關(guān)注的指標(biāo)就是GPU顯存容量，因?yàn)槭玛P(guān)一體機(jī)的性能表現(xiàn)，如TTFT（Time to First Token，首Token響應(yīng)時(shí)間）、后續(xù)Token 延遲 (TPOT) 、TPS（Tokens Per Second），也就是，DeepSeek一體機(jī)好用與否的問題。

  有些領(lǐng)導(dǎo)會對私域部署的DeepSeek一體機(jī)性能有所質(zhì)疑，其性能不如云版本提供的服務(wù)，質(zhì)疑其響應(yīng)速度緩慢不好用，其中部分問題就出在顯示內(nèi)存容量上。對于Deep Seek一體機(jī)的顯存容量有一個(gè)計(jì)算公式，重點(diǎn)考慮大模型參數(shù)（如671B、70B）、激活參數(shù)、參數(shù)精度，以及上下文的數(shù)據(jù)緩存等要素，因?yàn)樗鼈兌家虞d到顯存，否則就會影響推理的速度。對此，在直播對話中，嘉賓也給出了一個(gè)簡單計(jì)算方法，就是參數(shù)量?2。

  實(shí)際上，不同的GPU處理器版本，其內(nèi)置顯存容量不同，有大有小，如果DeepSeek一體機(jī)的顯存容量確定了，所需要的GPU卡的數(shù)目也就確定了。也就是說，選擇GPU不僅是看誰的計(jì)算能力強(qiáng)，同時(shí)也需要看顯存容量的配置。

  為什么GPU設(shè)計(jì)不盡可能多配一些HBM顯存，讓問題簡單化？實(shí)際上，高帶寬是HBM顯存的優(yōu)勢，但其容量偏小，且價(jià)格昂貴！ GPU靈活配置不同容量HBM，有助于用戶進(jìn)行更加合理的選擇，既然如此，在DeepSeek一體機(jī)的選型中，就應(yīng)該認(rèn)真觀察顯存特別是HBM顯存容量配置，這就是經(jīng)驗(yàn)之談。

有場景的用戶會選擇70B，更為領(lǐng)先

  接入DeepSeek一體機(jī)是個(gè)好的開始，例如三大運(yùn)營商之中，有的使用DeepSeek輔助辦公，對于內(nèi)部會議進(jìn)行紀(jì)要、整理；的使用DeepSeek輔助軟件開發(fā)、代碼生成，但這些都是在使用DeepSeek一體機(jī)的基礎(chǔ)能力，私域部署DeekSeek一體機(jī)，主要是考慮公有云服務(wù)所不具備的私密性和掌控性，但是不利的方面，用戶需要自己管理和運(yùn)維系統(tǒng)。

  接入DeepSeek一體機(jī)，更為重要的是DeepSeek和行業(yè)數(shù)據(jù)以及行業(yè)業(yè)務(wù)經(jīng)驗(yàn)的緊密結(jié)合，需要讓DeepSeek成為真正的行業(yè)專家，與行業(yè)的業(yè)務(wù)發(fā)展進(jìn)行深度融合，與行業(yè)場景的融合就需要使用行業(yè)私有數(shù)據(jù)，或?qū)eepSeek大模型進(jìn)行微調(diào)（Finetune）或者采用RAG（Retrieval Augmented Generation，檢索增強(qiáng)生成）并結(jié)合知識圖譜的方案。此外，不僅僅是文本、圖像、視頻、音頻等非結(jié)構(gòu)化數(shù)據(jù)，同時(shí)也要結(jié)合數(shù)據(jù)庫、ERP等應(yīng)用中的結(jié)構(gòu)化數(shù)據(jù)，對于業(yè)務(wù)進(jìn)行創(chuàng)新，這才是大模型給行業(yè)帶來的本質(zhì)性變化。

  接入DeepSeek一體機(jī)就是一個(gè)開始，接下來還有很多業(yè)務(wù)開發(fā)的工作。對此，需要企業(yè)培養(yǎng)自己的專業(yè)技術(shù)團(tuán)隊(duì)，發(fā)揮人力資源的優(yōu)勢。也只有依賴自己的專業(yè)團(tuán)隊(duì)，才能夠隨時(shí)、隨地將開源最新的技術(shù)進(jìn)步付諸實(shí)踐，從而構(gòu)建敏捷、迭代的業(yè)務(wù)創(chuàng)新模式，原有的Total Solution的IT服務(wù)外包模式顯然難以滿足需求，這意味著企業(yè)需要從購買產(chǎn)品方案的模式，轉(zhuǎn)型為養(yǎng)人DIY的模式，DeepSeek一體機(jī)應(yīng)用也是如此。

  有意思的是，購買DeepSeek 70B等殘血版一體機(jī)用戶，常常會有非常明確的場景需求，會有清晰的分析和規(guī)劃，以適用、夠用為原則；相比，沒有明確場景用戶的需求，往往會惟恐不能滿足需求，常常會愿意支付更多費(fèi)用，購買671B滿血版，采取更加穩(wěn)妥和保守的策略。

某種意義上衡量，購買DeepSeek一體機(jī)殘血版的用戶，往往在應(yīng)用上更為領(lǐng)先，當(dāng)然敷衍、投機(jī)者除外，這也是一個(gè)非常有意思的現(xiàn)象。

一體機(jī)不等同于一臺機(jī)器

  有些人會把DeepSeek一體機(jī)等同于一臺機(jī)器，實(shí)際上，前面說過，為什么會有感覺私有部署DeepSeek一體機(jī)不好用，性能不行，除了顯存等硬件配置之外，一臺DeepSeek一體機(jī)所能夠支持的用戶數(shù)，所謂并發(fā)性能的限制也是重要原因，當(dāng)超出上線就會出現(xiàn)等待的現(xiàn)象，這也是為什么DeepSeek官方發(fā)布聲明：服務(wù)器資源限制導(dǎo)致有些用戶訪問效果不佳，響應(yīng)緩慢的原因。私域部署DeepSeek一體機(jī)當(dāng)然概莫能外，需要衡量所支持的客戶數(shù)量，有時(shí)候就要考慮構(gòu)建DeepSeek一體機(jī)的集群，如果這樣，則網(wǎng)絡(luò)帶寬以及存儲的性能，都會影響DeepSeek一體機(jī)的整體訪問性能。

  DeepSeek一體機(jī)也同樣遵循RPM（Roofline Performance Model，屋頂線性能模型），也就是屋頂線模型（Roofline Model），其依據(jù)算術(shù)強(qiáng)度（即計(jì)算量與數(shù)據(jù)量的比值）來判定程序性能是受限于硬件的算力峰值、內(nèi)存以及IO帶寬，用于分析模型在特定計(jì)算平臺上所能達(dá)到的理論計(jì)算性能上限（由于環(huán)境等因素的影響，實(shí)際性能測試結(jié)果一般差于Roofline模型給出的結(jié)果）。對應(yīng)的場景不同，對于算力、I/O以及存儲性能的需求有所不同。

有些用戶選擇70B模型為例，就是充分考慮了RPM，對于參數(shù)、精度等不同因素的影響和需求。

冷板×浸沒雙模出擊：超流體液冷定義散熱新維度

  盡管DeepSeek大幅度拉低了算力門檻，但高算力必然帶來高能耗，以GPU為例，單張GPU顯卡的功耗達(dá)到700W左右，一臺DeepSeek一體機(jī)往往配備8張GPU卡，如此其功耗就達(dá)到了5600W，在加上CPU（500W）以及DRAM、SSD、網(wǎng)卡等電力消耗，DeepSeek一體機(jī)就是一臺耗電的怪獸。

更為頭疼的是高能耗必然帶來集中散熱的需求，這也是液冷技術(shù)備受關(guān)注的原因。其中，超流體液冷最為引人注目。

  超流體液冷技術(shù)的靈感源自三菱重工在遠(yuǎn)洋船舶領(lǐng)域的“空氣潤滑系統(tǒng)”：通過向船底注入氣泡降低阻力，提升航行效率。英特爾于2023年提出將這一原理應(yīng)用于數(shù)據(jù)中心散熱：在冷卻液中注入可控微氣泡，顯著提升流速與熱傳導(dǎo)效率，同時(shí)結(jié)合冷板散熱與新型介電液（不導(dǎo)電、防漏液），實(shí)現(xiàn)散熱效能與安全性的雙重突破。該技術(shù)既可適配冷板式液冷（精準(zhǔn)定向散熱），也能擴(kuò)展至浸沒式液冷（全機(jī)浸沒高效均溫），并通過在循環(huán)分配單元（CDU）中集成超流體生成器，靈活應(yīng)對不同場景需求。

測試數(shù)據(jù)顯示，超流體技術(shù)可使散熱效率提升30%以上，助力數(shù)據(jù)中心在同等能耗下承載更高算力密度。

在直播對話中，安擎嘉賓透露將推出單機(jī)16 GPU卡配備的DeepSeek一體機(jī)，很重要的一個(gè)因素就是超流體的液冷技術(shù)提供保駕護(hù)航。

小結(jié)

  購買一臺一體機(jī)，接入DeepSeek看似簡單，但簡單之中更有大學(xué)問。此外，DeepSeek一體機(jī)和私有數(shù)據(jù)的結(jié)合，更是顛覆式的創(chuàng)新，而這將直接決定企業(yè)的未來。

更多細(xì)節(jié)參見DOIT傳媒視頻號《選型中的學(xué)問，DeepSeek一體機(jī)不僅是滿血版！》直播回看！

注：該文轉(zhuǎn)自DOIT傳媒公眾號