數字技術與大語言模型時代

作者：陳曉東（中國社會科學院工業經濟研究所研究員）

在人類發展史上，由于技術進步帶來的全新產品與服務，不僅滿足了既有的需求還創造了新的需求。隨著數字技術的廣泛應用，以智能化為特征的第四次工業革命已經悄然出現。ChatGPT由于具備了較為流暢的邏輯性對話和交互能力，體現出具有高水平結構復雜性和大量參數的大模型可以實現深度學習，一經問世就備受市場關注。從本質上講，這種大模型是大語言模型（LLM），具有大規模參數和復雜網絡結構，引發了人工智能生成內容（AIGC）技術的質變。與傳統語言模型不同，大語言模型通過在大規模語料庫上進行訓練來學習語言的統計規律，能夠自動學習語法、句法、語義等多層次的語言規律。人工智能的大語言模型參數一般有1億多個，且這一標準還在不斷提高，而比大語言模型更大、更復雜的人工神經網絡模型，通常擁有數萬億到數十萬億個參數的超大模型。超大模型通常被用于解決自然語言處理（NLP）中的問答和機器翻譯、計算機視覺中的目標檢測和圖像生成等更為復雜的任務。從人工智能的生成角度來看，其模型可以根據文本提示生成代碼，還可以解釋甚至在某些情況下調試代碼。這一過程不僅可以實現文本、圖像、音頻、視頻的生成并構建多模態，還可以在更為廣泛的領域生成新的設計、知識和思想，乃至實現廣義的藝術和科學再創造。

大語言模型的訓練需要大量的計算資源和數據。OpenAI就用了數萬臺CPU、GPU（圖像處理單元）和多種技術對其模型進行優化調整。2018—2023年，OpenAI的大語言模型實現了數次迭代；OpenAI還提供了API接口，使得開發者可以利用大語言模型進行NLP的應用開發。這是在數學、統計學、計算機科學、物理學、工程學、神經學、語言學、哲學、人工智能等諸多學科融合基礎上的一次突變。正如谷歌研究院、斯坦福大學和DeepMind聯合發表的《大語言模型的涌現能力》中所提及的：“許多新的能力在中小模型上線性放大規模都得不到線性的增長，模型規模必須呈指數級增長并超過某個臨界點，新技能才會突飛猛進。”因此，大語言模型的訓練和調整需要極其巨大的算力、算法、數據、技術以及超大規模的投入與協作，而前三者作為人工智能的三要素，在產業數字化的智能升級進程中發揮著巨大作用。其中，數據是生產資料，算法代表新生產關系，算力作為新生產力支撐著算法和數據，而算力水平又直接決定數據處理能力的強弱。在復雜的算力場景中，如何組合不同的算力類型，是降低成本并最終得到市場認可的關鍵。

當前，算力已成為全球主要國家的戰略布局核心，更成為全球戰略競爭新焦點，對于我國在推進新型工業化過程中搶占新一輪科技革命和產業變革制高點同樣具有深刻意義。大語言模型對算力的要求更多地聚焦在智能算力上，預計到2026年，中國智能算力規模將達1271.4 EFLOPS（即每秒浮點運算次數），年復合增長率達52.3%。隨著“東數西算”工程與新型基礎設施等政策出臺，我國算力整體布局從東部地區開始逐漸向中西部地區延伸，因此要鼓勵有條件的地區因地制宜探索試點算力新領域。在加大算力作為經濟發展重要底層支撐的同時，還要著力培育并加快建立我國人工智能發展的完整生態。OpenAI專注于大語言模型研發，算力由微軟公司完成，數據由專門公司負責清洗……OpenAI正是在整個人工智能生態中完成了大語言模型開發，這樣的多方協作生態不斷促使各參與主體的自主創新與協同發展。發展我國大語言模型，必須建立一個統一的大語言模型平臺和基座，對接國產算力公司并做好接口，讓所有企業都可以參與使用，這樣才能促進人工智能尤其是大語言模型的生態鏈建設，在同經濟社會發展深度融合中推動我國新一代人工智能健康發展。

來源：中國社會科學網-中國社會科學報