11月28日，中國教育和科研計算機網(wǎng)CERNET第二十八/二十九屆學(xué)術(shù)年會在福州開幕。會上，清華大學(xué)計算機系教授唐杰作了題為《生成式人工智能大模型的現(xiàn)狀和未來》的特邀報告，總結(jié)了人工智能大模型的發(fā)展歷程，并對大模型的未來進行了展望。

唐杰 清華大學(xué)計算機系教授

　　2020年：大模型元年

　　唐杰表示，預(yù)訓(xùn)練大模型是新一代人工智能應(yīng)用的基礎(chǔ)設(shè)施。大模型通用能力強，可完成多場景任務(wù)。從2018年到現(xiàn)在，其趨勢是由單模態(tài)向多模態(tài)發(fā)展，從文本逐步發(fā)展到視覺。

　　據(jù)唐杰介紹，Open AI引領(lǐng)了AGI(人工通用智能)的研究。2020年，GPT-3推出。GPT-3是跨時代意義的語言大模型，標志AI文本生成進入下一個階段。因此，2020年可以稱之為大模型元年。

　　今年，GPT-4發(fā)布。與GPT-3.5相比，GPT-4的數(shù)學(xué)能力、微積分能力大大增強，開始具備邏輯推理能力、求解能力，并且走向了多模態(tài)，實現(xiàn)圖像和文本輸入。而GPT-4.5(AII Tools)具有很強的Agent(智能體)能力，融合多種工具的Agent形態(tài)，通過網(wǎng)頁瀏覽、代碼解釋、文件解析、圖片生成、圖片理解，以及多工具結(jié)合，無需手動指定工具，能夠自動觸發(fā)。

　　唐杰表示，GPT-4/4.5的出現(xiàn)表明，我國在大模型上的研究還有空間，也需要繼續(xù)努力。此外，目前來看，亟需建立以中文為核心的自研大模型。

　　大模型發(fā)展歷程

　　唐杰認為，可以把GPT(生成式預(yù)訓(xùn)練Transformer模型)的發(fā)展分為三個階段。第一階段是“千億基座模型”，相當于機器把世界上所有的書讀了個遍，把知識都學(xué)會，但“飽讀詩書”的大模型卻未必會“考試”；第二階段是“有監(jiān)督指令微調(diào)”，相當于“教”大模型怎么“考試”，怎么回應(yīng)痛點，怎樣跟人類的思維方式對齊；第三階段是“人類反饋強化學(xué)習(xí)”，將強化學(xué)習(xí)與人類反饋相結(jié)合，利用人類提供的反饋來指導(dǎo)大模型的行為。

　　為什么AGI會迎來爆發(fā)？唐杰進一步回顧了人工智能的發(fā)展歷程。

　　他表示，人工智能的發(fā)展可以分為三個時期。第一個時期是“符號AI”，實現(xiàn)了知識的可搜索性，讓計算機用描述語言把人類知識描述出來，這一階段以各種“專家系統(tǒng)”為代表。第二個時期是“感知智能”，實現(xiàn)了知識的可計算性，大數(shù)據(jù)驅(qū)動的統(tǒng)計學(xué)習(xí)方法初步實現(xiàn)了針對文本、圖像、語音等的感知與識別。第三個時期是“認知智能”，實現(xiàn)了認知的可計算性。中科院院士、清華大學(xué)教授張鈸在2016年提出第三代人工智能雛形，DARPA(美國國防高級研究計劃局)在2018年發(fā)布“AI Next”計劃。核心思路是推進數(shù)據(jù)統(tǒng)計與知識推理融合的計算，與腦認知機理融合的計算。在此階段，機器“認知”實現(xiàn)了元學(xué)習(xí)：自動學(xué)習(xí)認知目標。而目前急需的是高質(zhì)量超大規(guī)模知識圖譜(AI的基礎(chǔ)設(shè)施)以及對超大規(guī)模數(shù)據(jù)的深度理解能力(面向認知的深度學(xué)習(xí))。

　　解密大模型

　　2017~2018年，隨著Transformer的誕生，語言模型規(guī)模迅速擴大。大模型的出現(xiàn)還帶來了in-context能力(隱含模式遷移)。一方面，大規(guī)模模型算力需求迅速增長，單模型計算量每年增長10倍，形成新的“摩爾定律”；另一方面，機器智能的規(guī)模效應(yīng)，擁有量變到質(zhì)變的能力，在千億稠密參數(shù)(~100B，或 1023FLOPS訓(xùn)練量)時模型能力開始出現(xiàn)“涌現(xiàn)”。

　　唐杰總結(jié)道，總的來說，大模型理論研究還明顯落后于工程進展。我們在工程上看到了很多現(xiàn)象，但在理論上卻解釋得不夠清楚。

　　為解密大模型，對標GPT系列模型，唐杰及團隊推出了GLM系列模型。據(jù)唐杰介紹，GLM系列把千億基座模型、有監(jiān)督指令微調(diào)、人類反饋強化學(xué)習(xí)這三個階段相對壓縮了時間，并在算法方面進行了創(chuàng)新，提出“自回歸填空”。2022年，在斯坦福大學(xué)大模型中心報告的世界主流大模型評測中，GLM-130B是亞洲唯一入選模型，其準確性、惡意性與GPT-3持平，魯棒性和校準誤差在所有模型中表現(xiàn)最佳。

　　2024年：AGI元年？

　　唐杰表示，對于未來AGI的走勢，我們還面臨很多挑戰(zhàn)。首先，從工程角度看，Scaling(規(guī)模化)的盡頭是AGI嗎？一方面，真正的Scaling規(guī)模遠超學(xué)術(shù)界想象。擴大規(guī)模不僅僅基于參數(shù)量，更多的是基于計算量。另一方面，Scaling仍有空間，單卡摩爾定律放緩，但系統(tǒng)角度仍在延續(xù)。

　　唐杰進一步表示，Scaling的真正極限，也許是AGI的一點曙光。未來更大的挑戰(zhàn)是，人類的認知到底是怎樣的？從人類大腦進化的歷程來看，腦容量逐漸擴張，在此過程中人類實現(xiàn)了工具能力、語言能力等等，那么大模型的發(fā)展是否也可以遵循人腦進化的道路，慢慢發(fā)展出工具能力、語言能力和其他能力？從這一點看，AGI之路還很長。

　　據(jù)了解，日前，Open AI提出超級對齊(Superalignment)的概念。唐杰表示，Superalignment本質(zhì)上就是超級智能與超級安全，是讓AGI跟人類的價值觀意識觀對其，并且實現(xiàn)超過人類智能的智能。從這一點看，也許2024年將是AGI的元年。

　　本文根據(jù)清華大學(xué)計算機系教授唐杰在CERNET第二十八/二十九屆學(xué)術(shù)年會上的報告整理，點文末“閱讀原文”可進入CERNET第二十八/二十九屆學(xué)術(shù)年會專題