中國人工智慧（AI）公司DeepSeek在10月20日把自家線上服務使用的推理框架DeepInfer放上GitHub，以Apache 2.0授權開源，輝達GPU與華為昇騰NPU都能跑。這是DeepSeek繼開源算子庫之後，第一次把整套推理框架公開。
DeepSeek在一併公開的部署問答文件寫道，靠這套框架，單一叢集每天處理155兆個token，以離峰價格計算，每張卡每小時帶來38美元收入。GitHub紀錄顯示，第一筆程式碼在台灣時間10月20日中午12點9分上傳，到傍晚已累積約3500顆星。
推理框架負責把訓練好的模型實際跑起來、回應使用者的請求，決定同一批晶片能服務多少人。DeepSeek在文件裡說明，這套系統設計時定了三個目標：相容多家廠商的晶片、用常見的8卡機器做Prefill與64到128卡的超節點做Decode，以及把KV快取保留72小時以上，減少重複計算。
在滿足延遲要求的前提下提高系統的有效吞吐，用更少的算力與能源支撐更多請求，讓智能服務以更低的價格觸達更多用戶。
輝達與華為昇騰都能跑，開源版缺三塊
DeepInfer目前只支援DeepSeek-V4.1-Flash一個模型，硬體列出輝達SM100世代的GPU，也就是Blackwell資料中心晶片，以及華為昇騰950。預設會從Hugging Face下載10月17日上架的DeepSeek-V4.1-Flash-1017權重。
| 項目 | DeepInfer開源版 |
|---|---|
| 授權 | Apache 2.0 |
| 支援模型 | DeepSeek-V4.1-Flash |
| 支援硬體 | 輝達SM100 GPU、華為昇騰950 NPU |
| 系統需求 | Linux、GCC 13以上、Python 3.12；輝達要CUDA 13，昇騰要CANN 9.2 |
| 沒有開源的部分 | KV快取系統、影像編碼與Prefill、Decode分離部署、資料平行副本之間的負載平衡 |
DeepSeek在說明頁寫明，DeepInfer最早以美國加州大學柏克萊分校團隊開發的vLLM為基礎，也參考了SGLang與輝達的TensorRT-LLM。KV快取管理與負載平衡兩個元件因為和內部基礎設施綁得太深，這次沒有完整開源；另一個處理API協定與token轉換的元件deepseek-recipe則一併公開，DeepSeek說處理邏輯和官方API完全一致。
最小有效部署要128張卡
問答文件寫到部署規模：效率高的最小單元是64張卡做Prefill加64張卡做Decode，兩邊卡數比例大約1比1。存儲方面，DeepSeek用自家3FS分散式檔案系統提供約100PiB的SSD空間存放KV快取，AI代理流量的快取保留3天，聊天機器人流量保留7天。
官方附上的效能圖，Prefill用4張SM100 GPU量測，Decode用64張，文字說明沒有列出具體的吞吐數字。DeepSeek也坦承內部版本比開源版略快，其中FlashMLA少了一項直接改寫機器碼的優化，解碼算子慢5%到10%，端到端效能最多差5%。
搭配的DeepSeek-V4.1-Flash-1017在Hugging Face模型頁列出7630億個參數、100萬token上下文，採MIT授權。和前一版相比，Terminal-Bench 4.0從31.2分提高到42.3分，DeepSWE v1.1從74.2分提高到77.0分。
台灣企業可以直接下載，門檻在硬體
Apache 2.0授權允許商業使用與修改，台灣的企業與研究單位可以直接從GitHub下載程式碼，在自己的機房部署DeepSeek-V4.1-Flash。實際門檻在硬體：開源版只支援輝達Blackwell世代與華為昇騰950，舊一代的Hopper GPU不在支援清單上。
DeepSeek在文件中表示，之後新模型的推理程式碼與效能優化都會繼續放進DeepInfer開源，問答文件也會持續更新。
