近日，由ChatGPT點燃的大模型這把火，正在全球科技圈子里愈演愈烈。國內(nèi)，隨著多家互聯(lián)網(wǎng)大廠相繼官宣大模型動態(tài)，創(chuàng)業(yè)領(lǐng)袖們紛紛緊急招兵買馬，一場大模型的“戰(zhàn)爭”一觸即發(fā)。

國內(nèi)外相關(guān)領(lǐng)域在此時形成了一種無言的默契——以ChatGPT為代表的AI大模型是一個劃時代的里程碑，將開啟通用人工智能（AGI）時代。

站在歷史的關(guān)鍵節(jié)點，誰能引領(lǐng)下一個人工智能黃金時代？決勝的關(guān)鍵又是什么？4月5日，ChatGPT官網(wǎng)宣布停止Plus付費項目的購買，業(yè)內(nèi)分析就是由其算力不足按下了暫停鍵。算力到底是什么？為什么會對人工智能發(fā)展產(chǎn)生重要影響？今天，我們就來聊一下被譽為人工智能“發(fā)動機”的算力。

什么是算力？從大腦、算盤、計算器說起

這幾年，“算力”的概念頻繁出現(xiàn)在互聯(lián)網(wǎng)圈，成為科技大佬們常掛在嘴邊的熱詞。但實際上，這并不是一個新概念，算力的本義也并不復(fù)雜，顧名思義，就是指計算的能力。如果用《中國算力白皮書（2022年）》來進一步進行專業(yè)解釋，就是指數(shù)據(jù)中心的服務(wù)器通過對數(shù)據(jù)進行處理后實現(xiàn)結(jié)果輸出的一種能力。

人類的大腦就是天然的計算服務(wù)器。生活中，小到去菜市場買菜、大到破解一道數(shù)學(xué)難題，人類大腦每時每刻都在通過口算、心算的方式來為我們的需求提供算力。但這樣的算力有點低，尤其碰到非常復(fù)雜的計算問題時，就這樣催生出了一代又一代計算工具。

首先當(dāng)然要從人類自己身上找工具，于是手指成為了最簡單方便且一直沿用至今的計數(shù)工具，而這大概也是十進制計算得以發(fā)明并且普及的根本原因。

到遠古時期，人們開始用繩子、石頭等自然物來計數(shù)。中國古籍《周易·系辭下》中就有“上古結(jié)繩而治”的說法；在南美，古印加人也用繩子來記錄。

隨著生產(chǎn)實踐的不斷發(fā)展，人類終于發(fā)明了自己的計算工具。算籌就是中國早期的計算工具，一般由木棍、竹條或獸骨（稱為“籌”）等做成。

算籌采用十進制記數(shù)法，有縱式和橫式兩種擺法。個、百、萬位等用縱式，十、千、十萬位等用橫式，空位表示零，這樣從右到左，縱橫相間，就可以表示任意自然數(shù)了。并且，中國古代的算籌，在整數(shù)四則運算、分數(shù)四則運算、開平方等問題上均有成熟的法則，在問題解決的每一步上都有規(guī)格化的程序，也因此被一些數(shù)學(xué)史學(xué)者認為具有構(gòu)造性和“機械化”的特點。

不過，與機械時代工具的改良類似，隨著算籌的軟件，也就是運算法則的發(fā)展越來越快，算籌的硬件，也就是“籌”雖然也一直在改進，但終究跟不上算法的進展，最終被更為方便的算盤取代了。

這也是計算工具發(fā)展史上的第一次重大改革。算盤的原理與算籌類似，但在操作上更加實用，尤其在熟練掌握珠算口訣和基本技巧之后，運算速度更是驚人。15世紀左右，由中國人民發(fā)明的算盤傳入了日本、韓國等國家，又經(jīng)商路逐漸傳入西方，至今在一些地區(qū)仍有著廣泛的應(yīng)用。

17世紀之前，在手工計算時代，我國的算力和算法無疑走在前列，但隨著工業(yè)革命的到來，數(shù)學(xué)及計算工具的發(fā)展中心漸漸轉(zhuǎn)移到了西方，計算工具也從手工計算正式進入機械計算時代。

世界上第一臺機械式計算工具——加法器，是由法國數(shù)學(xué)家、物理學(xué)家、思想家帕斯卡設(shè)計成功的，計算過程只需撥動機器上的齒輪就能實現(xiàn)。盡管這臺機器只能進行加減運算，但完全不用再依賴人類大腦，其設(shè)計原理與現(xiàn)今計算機的原理也是相通的，為后人制造機械計算器邁出了開拓性一步。

在他的基礎(chǔ)上，德國哲學(xué)家、數(shù)學(xué)家、“百科全書式”學(xué)者萊布尼茨對機械計算器進行重大改進，不僅研制了一臺能進行四則運算的機械式計算器，還有一個重大的發(fā)明——二進制。雖然當(dāng)時萊布尼茲發(fā)明的計算器并沒有融入二進制，但這種進位規(guī)則卻被現(xiàn)代計算機一直采用至今。

算力的飛躍：現(xiàn)代計算機與摩爾定律

從遠古時期結(jié)繩計數(shù)到手工計算時代，再到機械計算時代，計算工具的每一次變革都帶來了算力的極大躍遷，并進一步推動人類經(jīng)濟社會向前發(fā)展。

但過去人們對算力的感知并不明顯，直到電子計算機的誕生，才讓人們深刻感受到計算的威力——比如問世于2016年的超級計算機“神威·太湖之光”，1分鐘的計算能力就相當(dāng)于全球72億人同時用計算器不間斷計算32年。在這樣的超強算力支持下，許多以前無法想象的難題頃刻就能得到解決。也正是這樣一代又一代越來越快的電子計算機的出現(xiàn)，才讓算力的重要性真正為人們所關(guān)注。

1946年，世界上第一臺電子計算機ENIAC在美國賓夕法尼亞大學(xué)問世，其使用電子管作為開關(guān)，可以進行大量的計算操作，速度比之前的機械計算器快了很多。這臺計算機雖然能滿足不同計算需求，但不具備存儲的功能。

1950年前后，馮·諾伊曼主導(dǎo)制造完成了第一臺現(xiàn)代計算機EDVAC。這臺由運算器、存儲器、控制器、輸入設(shè)備和輸出設(shè)備五大部件組成的計算機系統(tǒng)有兩大開創(chuàng)性突破：一是采用了二進制形式表示數(shù)據(jù)和指令，二是提出了“存儲程序”方式。直到今天，電子計算機的設(shè)計仍然是這種結(jié)構(gòu)。

現(xiàn)代計算機的算力是怎么衡量的？

簡單來說，當(dāng)人類使用計算機時，輸入的字符或者信息首先需要被轉(zhuǎn)化為電子計算機能夠處理的編碼：0或者1的排列組合。而電子晶體管就是作為0或者1進行數(shù)值運算的基本單元，此時電子晶體管的通路可以代表數(shù)值1，斷路就代表數(shù)值0，每一個0或1就是一比特（信息量的最小單位）。這也意味著，算力的大小與晶體管數(shù)量呈正相關(guān)，晶體管數(shù)量越多，就能表示越多的信息量。

第一臺電子計算機ENIAC就擁有18000多個電子管，占地面積達170m2，體重達30噸。如此龐然大物當(dāng)然不便推廣，一直到20世紀50年代，在ENIAC之后推出的新機如UNIVAC、IBM、Ferranti、Burroughs等都是大型機，價格昂貴，只有政府和大型企業(yè)等有實力的組織才能夠購買和使用。

很快到來。1958年，工程師杰克·基爾比發(fā)明了一種能將一個電路中需要的晶體管、電阻、電容和電感等元件及布線連在一起的電子器件，也就是人們現(xiàn)在所熟悉的集成電路（同時期，羅伯特·諾伊斯也帶領(lǐng)仙童半導(dǎo)體公司發(fā)展出了近代實用的集成電路），而集成電路的載體就是“芯片”。

可以說，芯片的出現(xiàn)真正推動了現(xiàn)代計算機的飛速發(fā)展。1965年，時任仙童半導(dǎo)體公司研究開發(fā)實驗室主任的摩爾應(yīng)邀為《電子學(xué)》雜志35周年?？珜懺u論。在繪制數(shù)據(jù)時，他發(fā)現(xiàn)了一個驚人的趨勢：每個新芯片大體上包含其前任兩倍的容量，每個芯片的產(chǎn)生都是在前一個芯片產(chǎn)生后的18-24個月內(nèi)。按照這一趨勢，芯片的密度還有計算力相對于時間周期都將呈指數(shù)式的上升。這一發(fā)現(xiàn)也就是現(xiàn)在大名鼎鼎的“摩爾定律”。

半個多世紀以來，電子計算機的發(fā)展基本都遵循著摩爾定律。20世紀七八十年代，隨著芯片的性能不斷提升、體積不斷減小，計算機終于實現(xiàn)了小型化，PC（個人電腦）誕生了。這也標志著電子計算機的算力終于不再僅為少數(shù)有實力的機構(gòu)服務(wù)，而是開始真正走向千家萬戶，進而推動全民信息化時代到來。

人工智能時代的算力挑戰(zhàn)

按照摩爾定律，算力基本每兩年就要翻一番。但這樣恐怖的增長速度也無法滿足人類對算力的需求，尤其是2012年深度學(xué)習(xí)的發(fā)展帶領(lǐng)人工智能崛起以后。

早在2019年，OpenAI就在其更新的AI計算量報告中分析了AI算法消耗算力的情況，并發(fā)現(xiàn)在之前的幾十年中，AI計算量的增長速度基本和摩爾定律保持同步，而2012年成為了AI兩個時期的分水嶺。2012年之后，最先進AI模型的計算量每三四個月就翻一番，也就是每年增長近10倍，比摩爾定律2年增長一倍快得多。

在此情況下，如何才能提高算力以滿足智能計算的需求？目前有兩大方面可供突破。

第一種方法，找更多人一起計算，也就是借助高性能計算和分布式計算提高算力，也是現(xiàn)在最為主要的提高算力的方法。

其中，高性能計算的最核心技術(shù)就是并行計算，即同時使用多種計算資源解決計算問題的過程。從架構(gòu)上看，并行計算又分為同構(gòu)并行計算——把計算任務(wù)分配給一系列相同的計算單元，如多核CPU（中央處理器，計算機系統(tǒng)的運算和控制核心）架構(gòu)；還有異構(gòu)并行計算——把計算任務(wù)分配給不同制程架構(gòu)、不同指令集、不同功能的計算單元，如CPU+GPU（圖形處理器，又稱顯示核心、視覺處理器、顯示芯片）的架構(gòu)。

這里簡單介紹一下CPU與GPU的差別，雖然總體上兩者都包括運算器、控制單元、高速緩存器和動態(tài)隨機存取存儲器，但這些成分的構(gòu)成比例卻是不同的。CPU中控制單元和存儲單元占的比例較大，計算單元則比例較小且不多，而GPU正好與之相反，這就造成了CPU長于控制和存儲，而GPU則擅長計算，兩者的組合正好形成互補關(guān)系。

2012年深度學(xué)習(xí)崛起之后，人們發(fā)現(xiàn)GPU非常適合用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。因為其絕大部分工作都是將不同的矩陣進行相乘或者矩陣和向量進行相乘，而GPU在矩陣相乘上就是非常高效，因此GPU開始被廣泛地應(yīng)用于人工智能。

與此同時，GPU的主要生產(chǎn)商如英偉達等也成為了人工智能時代重點關(guān)注對象。如運行ChatGPT的微軟數(shù)據(jù)中心就用了上萬塊英偉達H100 GPU，這也是英偉達去年發(fā)布的最新旗艦AI芯片，接替了原本被稱為AI應(yīng)用“主力軍”芯片的A100。根據(jù)英偉達的說法，與A100相比，H100的能效提高了3.5倍。并且，在今年3月剛剛召開的GTC 2023大會上，英偉達宣布圍繞AI又推出了一個全新的H100 NVL GPU芯片，據(jù)說可將算力提速10倍。

然而，從2022年9月開始，無論是A100、H100還是AMD（另一家GPU巨頭生產(chǎn)商）生產(chǎn)的MI250人工智能芯片都被禁止向中國進行出售，最新發(fā)布的H100 NVL GPU芯片同樣如此。據(jù)公開信息顯示，英偉達專供中國且完全符合出口規(guī)定的A800芯片，其傳輸速度只有A100的70%。這也是目前制約國內(nèi)人工智能發(fā)展的關(guān)鍵因素之一。

再來介紹一下第一種提高算力方法中的分布式計算，即將分散在不同物理區(qū)域的計算單位聚集起來共同完成某一計算任務(wù)的方法，其典型代表就是現(xiàn)在經(jīng)常聽說的云計算。在云計算中，CPU、內(nèi)存、硬盤、GPU等計算資源都被整合起來，通過軟件的方式，組成一個虛擬的可無限擴展的“算力資源池”。用戶需要算力時，無需自購設(shè)備、自建機房、自己運維，通過“算力資源池”的調(diào)度就可以實現(xiàn)算力資源的分配，用戶直接按需付費即可。

在云計算時代，數(shù)據(jù)中心就是算力的主要載體。這也是目前國內(nèi)各地開始建設(shè)大數(shù)據(jù)中心、云計算中心、智算中心、超算中心等信息基礎(chǔ)設(shè)施的根本原因。

早在1961年，“人工智能之父”約翰·麥卡錫就曾預(yù)言，“有一天，計算可能會被組織成一個公共事業(yè)，就像電話系統(tǒng)是一個公共事業(yè)一樣”。而現(xiàn)在，這一天正在成為現(xiàn)實。

根據(jù)國家信息中心聯(lián)合相關(guān)部門于今年1月發(fā)布的《智能計算中心創(chuàng)新發(fā)展指南》顯示，目前全國有超過30個城市正在建設(shè)或提出建設(shè)智算中心。通過各級各類計算中心網(wǎng)絡(luò)，算力正像電力一樣被輸送進千行百業(yè)，成為社會發(fā)展最基礎(chǔ)的公共資源。

第二種方法，從根本上改進設(shè)備，實現(xiàn)計算模式上的突破。

盡管高性能計算及分布式計算是當(dāng)前人們提高算力的主要手段，但其制約因素比較多，而且算力的提升也有限。因此，提高算力的第二大方法成為了許多前沿科學(xué)家的追求，這其中典型代表就是量子計算。

過去幾十年來，芯片上的晶體管數(shù)量基本按照摩爾定律在演進，也就是每兩年密度增加一倍。然而，這種趨勢不能一直持續(xù)。早在幾年前，英偉達創(chuàng)始人、CEO黃仁勛就曾表示：“摩爾定律已死。”事實上，近幾年芯片技術(shù)迭代的速度確實在放緩，這也是由于芯片微電路加工的光刻工藝不斷逼近光學(xué)衍射極限，很難按照摩爾定律持續(xù)演進。

那么，還有什么辦法可以突破這一極限？實際上，早在20世紀80年代，就有學(xué)者提出了量子計算的思想。其“薛定諤的貓”一樣的疊加特性，使得每一個量子比特都可以當(dāng)作2個運算單元，也就是說傳統(tǒng)計算機需要2的N次方個晶體管來表示的計算量，量子計算機只需要N個就能完成。而當(dāng)N越大時，量子計算的威力也就越大。這樣一來，如果將晶體管計算機換成量子計算機，芯片工藝的難題就迎刃而解了。

不過，這里仍然面臨其他的問題：一是找到適合并且可以通用的保持量子疊加態(tài)的物理載體，二是可廣泛應(yīng)用的計算場景。到目前為止，見諸報道的各種量子計算機都還只能執(zhí)行少數(shù)幾種特殊的場景，但未來發(fā)展前景非常可期。

盡管算力并不是影響人工智能發(fā)展的唯一因素，但卻是其必要條件之一。號角已然吹響，下一個十年，要想在人工智能這條賽道上勝出，算力只怕是要攻破的第一道關(guān)了。