國際期刊發表DeepSeek大規模推理模型訓練方法 揭示AI背后的科學

中新網北京9月18日電 (記者 孫自法)作為一家專注于大語言模型(LLM)和通用人工智能(AGI)技術的中國公司，DeepSeek(深度求索)今年早些時候發布的開源人工智能(AI)模型DeepSeek-R1采用的大規模推理模型訓練方法，頗受關注。

北京時間9月17日夜間，該訓練方法在國際知名學術期刊《自然》上線發表，其揭示AI技術背后的科學研究表明，大語言模型的推理能力可通過純強化學習來提升，從而減少增強性能所需的人類輸入工作量。訓練出的模型在數學、編程競賽和STEM(科學、技術、工程、數學)領域研究生水平問題等任務上，比傳統訓練的大語言模型表現更好。

論文通訊作者為DeepSeek創始人梁文鋒，他領導的DeepSeek-AI團隊表示，讓AI模型像人類一樣進行推理一直是難題，雖然大語言模型已顯示出一些推理能力，但訓練過程需要大量計算資源。通過人工提示引導可改進這類模型，促使其生成中間推理步驟，從而大為強化其在復雜任務中的表現。不過，這個方法會導致計算成本過高，并限制其擴展潛力。

DeepSeek-AI團隊介紹說，DeepSeek-R1包含一個在人類監督下的深入訓練階段，以優化推理過程。該模型使用了強化學習而非人類示例來開發推理步驟，從而減少了訓練成本和復雜性。DeepSeek-R1在被展示優質的問題解決案例后，會獲得一個模板來產生推理過程。這一模型通過解決問題獲得獎勵，從而強化學習效果。

在評估AI表現的數學基準測試中，DeepSeek-R1-Zero和DeepSeek-R1得分分別為77.9%和79.8%。此外，該模型在編程競賽及研究生水平的生物學、物理和化學問題上同樣表現優異。

《自然》同期發表國際同行專家的“新聞與觀點”文章指出，當前版本的DeepSeek-R1有一些能力限制，希望能在未來版本中得到改進。例如，該模型有時會混合語言，目前只針對中文和英文做了優化；它對提示詞也很敏感，需要精心設計的提示詞工程，在某些任務上沒有展現出明顯提升，例如軟件工程任務。

DeepSeek-AI團隊總結認為，未來研究可以聚焦優化獎勵過程，以確保推理和任務結果可靠。(完)