摘要：從較為熟知的項(xiàng)目來(lái)說(shuō)，比如基于去中心化GPU的渲染解決方案網(wǎng)絡(luò)RenderNetwork和用于云計(jì)算的分布式點(diǎn)對(duì)點(diǎn)市場(chǎng)AkashNetwork都屬于這條賽道。FLOPS是衡量計(jì)算機(jī)高性能計(jì)算能力的指標(biāo)，通常用于衡量超級(jí)計(jì)算機(jī)、高性能計(jì)算服務(wù)器和圖形處理器（GPU）等的計(jì)算能力。...

前言

自 GPT-3 誕生以來(lái)，生成式 AI 以其驚人的表現(xiàn)以及廣闊的應(yīng)用場(chǎng)景，讓人工智能領(lǐng)域迎來(lái)了爆炸式的拐點(diǎn)，科技巨頭開(kāi)始扎堆抱團(tuán)跳入 AI 賽道。但問(wèn)題也隨之而來(lái)，大型語(yǔ)言模型（LLM）訓(xùn)練和推理的運(yùn)行需要大量算力支撐，伴隨著模型的迭代升級(jí)，算力需求和成本更是呈指數(shù)級(jí)的增加。以 GPT-2 和 GPT-3 為例，GPT-2 和 GPT-3 之間的參數(shù)量相差 1166 倍（GPT-2 為 1.5 億參數(shù)，GPT-3 為 1750 億參數(shù)），GPT-3 的一次訓(xùn)練成本以當(dāng)時(shí)公有 GPU 云的價(jià)格模型計(jì)算最高可達(dá) 1200 萬(wàn)美元，為 GPT-2 的 200 倍。而在實(shí)際使用過(guò)程中，用戶的每次提問(wèn)都需要推理運(yùn)算，按今年年初 1300 萬(wàn)獨(dú)立用戶訪問(wèn)的情況來(lái)說(shuō)，對(duì)應(yīng)的芯片需求是 3 萬(wàn)多片 A100GPU。那么初始投入成本將達(dá)到驚人的 8 億美元，每日模型推理費(fèi)用預(yù)估費(fèi)用 70 萬(wàn)美元。

算力不足和成本過(guò)高成為整個(gè) AI 行業(yè)面臨的難題，然而同樣的問(wèn)題似乎也將困擾區(qū)塊鏈行業(yè)。一方面比特幣的第四次減半與 ETF 通過(guò)即將到來(lái)，隨著未來(lái)價(jià)格攀升，礦商對(duì)于算力硬件的需求必然大幅提高。而另一方面零知識(shí)證明（「Zero-Knowledge Proof」，簡(jiǎn)稱 ZKP）技術(shù)正在蓬勃發(fā)展，Vitalik 也曾多次強(qiáng)調(diào) ZK 在未來(lái)十年內(nèi)對(duì)區(qū)塊鏈領(lǐng)域的影響將與區(qū)塊鏈本身一樣重要。雖然這項(xiàng)技術(shù)的未來(lái)被區(qū)塊鏈行業(yè)寄予厚望，但 ZK 由于復(fù)雜的計(jì)算過(guò)程，在生成證明過(guò)程中同 AI 一樣也需要消耗大量的算力與時(shí)間。

在可預(yù)見(jiàn)的未來(lái)里，算力短缺將成為必然，那么去中心化算力市場(chǎng)是否會(huì)是一門(mén)好生意？

去中心化算力市場(chǎng)定義

去中心化算力市場(chǎng)其實(shí)基本等價(jià)于去中心化云計(jì)算賽道，但相比于去中心化云計(jì)算，我個(gè)人認(rèn)為這個(gè)詞來(lái)描述之后所講的新項(xiàng)目會(huì)更為貼切。去中心化算力市場(chǎng)應(yīng)屬于 DePIN（去中心化物理基礎(chǔ)設(shè)施網(wǎng)絡(luò)）的子集，其目標(biāo)旨在創(chuàng)建一個(gè)開(kāi)放的算力市場(chǎng)，通過(guò)代幣激勵(lì)使得任何擁有閑置算力資源的人都可以在此市場(chǎng)上提供他們的資源，主要服務(wù)于 B 端用戶及開(kāi)發(fā)者群體。從較為熟知的項(xiàng)目來(lái)說(shuō)，比如基于去中心化 GPU 的渲染解決方案網(wǎng)絡(luò) Render Network 和用于云計(jì)算的分布式點(diǎn)對(duì)點(diǎn)市場(chǎng) Akash Network 都屬于這條賽道。

而下文將從基礎(chǔ)概念開(kāi)始，再展開(kāi)討論該賽道下的三個(gè)新興市場(chǎng)：AGI 算力市場(chǎng)、比特幣算力市場(chǎng)以及 ZK 硬件加速市場(chǎng)中的 AGI 算力市場(chǎng)，后兩個(gè)將在《潛力賽道前瞻：去中心化算力市場(chǎng)（下）》中進(jìn)行討論。

算力概述

算力概念的起源可以追溯到計(jì)算機(jī)發(fā)明之初，最初的計(jì)算機(jī)是由機(jī)械裝置完成計(jì)算任務(wù)，而算力指的是機(jī)械裝置的計(jì)算能力。隨著計(jì)算機(jī)技術(shù)的發(fā)展，算力的概念也隨之演化，現(xiàn)在的算力通常指的是計(jì)算機(jī)硬件（CPU、GPU、FPGA 等）和軟件（操作系統(tǒng)、編譯器、應(yīng)用程序等）協(xié)同工作的能力。

定義

算力（Computing Power）是指計(jì)算機(jī)或其他計(jì)算設(shè)備在一定時(shí)間內(nèi)可以處理的數(shù)據(jù)量或完成的計(jì)算任務(wù)的數(shù)量。算力通常被用來(lái)描述計(jì)算機(jī)或其他計(jì)算設(shè)備的性能，它是衡量一臺(tái)計(jì)算設(shè)備處理能力的重要指標(biāo)。

衡量標(biāo)準(zhǔn)

算力可以用各種方式來(lái)衡量，例如計(jì)算速度、計(jì)算能耗、計(jì)算精度、并行度。在計(jì)算機(jī)領(lǐng)域，常用的算力衡量指標(biāo)包括 FLOPS（每秒浮點(diǎn)運(yùn)算次數(shù)）、IPS（每秒指令數(shù)）、TPS（每秒事務(wù)數(shù)）等。

FLOPS（每秒浮點(diǎn)運(yùn)算次數(shù)）是指計(jì)算機(jī)處理浮點(diǎn)運(yùn)算（帶有小數(shù)點(diǎn)的數(shù)字進(jìn)行數(shù)學(xué)運(yùn)算，需要考慮精度問(wèn)題和舍入誤差等問(wèn)題）的能力，它衡量的是計(jì)算機(jī)每秒能夠完成多少次浮點(diǎn)運(yùn)算。FLOPS 是衡量計(jì)算機(jī)高性能計(jì)算能力的指標(biāo)，通常用于衡量超級(jí)計(jì)算機(jī)、高性能計(jì)算服務(wù)器和圖形處理器（GPU）等的計(jì)算能力。例如，一個(gè)計(jì)算機(jī)系統(tǒng)的 FLOPS 為 1 TFLOPS（1 萬(wàn)億次浮點(diǎn)運(yùn)算每秒），意味著它每秒可以完成 1 萬(wàn)億次浮點(diǎn)運(yùn)算。

IPS（每秒指令數(shù)）是指計(jì)算機(jī)處理指令的速度，它衡量的是計(jì)算機(jī)每秒能夠執(zhí)行多少條指令。IPS 是衡量計(jì)算機(jī)單指令性能的指標(biāo)，通常用于衡量中央處理器（CPU）等的性能。例如，一個(gè) CPU 的 IPS 為 3 GHz（每秒可以執(zhí)行 3 億次指令），意味著它每秒可以執(zhí)行 3 億次指令。

TPS（每秒事務(wù)數(shù)）是指計(jì)算機(jī)處理事務(wù)的能力，它衡量的是計(jì)算機(jī)每秒可以完成多少個(gè)事務(wù)。通常用于衡量數(shù)據(jù)庫(kù)服務(wù)器的性能。例如，一個(gè)數(shù)據(jù)庫(kù)服務(wù)器的 TPS 為 1000，意味著它每秒可以處理 1000 個(gè)數(shù)據(jù)庫(kù)事務(wù)。

此外，還有一些針對(duì)特定應(yīng)用場(chǎng)景的算力指標(biāo)，例如推理速度、圖像處理速度、語(yǔ)音識(shí)別準(zhǔn)確率。

算力的類型

GPU 算力指的是圖形處理器（Graphics Processing Unit）的計(jì)算能力。與 CPU（Central Processing Unit）不同，GPU 是專門(mén)設(shè)計(jì)用于處理圖像和視頻等圖形數(shù)據(jù)的硬件，它具有大量的處理單元和高效的并行計(jì)算能力，可以同時(shí)進(jìn)行大量的浮點(diǎn)運(yùn)算。由于 GPU 最初是用于游戲圖形處理的，因此它們通常比 CPU 擁有更高的時(shí)鐘頻率和更大的內(nèi)存帶寬，以支持復(fù)雜的圖形運(yùn)算。

CPU 和 GPU 的區(qū)別

架構(gòu)：CPU 和 GPU 的計(jì)算架構(gòu)不同。CPU 通常采用一或多個(gè)核心，每個(gè)核心都是一個(gè)通用的處理器，能夠執(zhí)行各種不同的操作。而 GPU 則擁有大量的流處理器（Stream Processors）和著色器（Shader），這些處理器專門(mén)用于執(zhí)行圖像處理相關(guān)的運(yùn)算；

并行計(jì)算：GPU 通常具有更高的并行計(jì)算能力。CPU 的核心數(shù)量有限，每個(gè)核心只能執(zhí)行一條指令，但 GPU 可以擁有數(shù)千個(gè)流處理器，可以同時(shí)執(zhí)行多個(gè)指令和操作。因此，GPU 通常比 CPU 更適合執(zhí)行并行計(jì)算任務(wù)，例如機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等需要大量并行計(jì)算的任務(wù)；

程序設(shè)計(jì)：GPU 的程序設(shè)計(jì)相對(duì)于 CPU 來(lái)說(shuō)更為復(fù)雜，需要使用特定的編程語(yǔ)言（如 CUDA 或 OpenCL），并使用特定的編程技巧來(lái)利用 GPU 的并行計(jì)算能力。相比之下，CPU 的程序設(shè)計(jì)更為簡(jiǎn)單，可以使用通用的編程語(yǔ)言和編程工具。

算力的重要性

在工業(yè)革命時(shí)代，石油是世界的血液，滲透到各個(gè)產(chǎn)業(yè)之中。算力在區(qū)塊鏈中而在即將到來(lái)的 AI 時(shí)代，算力會(huì)是全世界的「數(shù)字石油」。從各大企業(yè)對(duì)于 AI 芯片的瘋搶以及 Nvidia 股票突破萬(wàn)億，再到美國(guó)近期對(duì)中國(guó)的高端芯片封鎖詳細(xì)到算力大小、芯片面積，甚至計(jì)劃禁用 GPU 云，其重要性已不言而喻，算力將是下個(gè)時(shí)代的大宗商品。

人工通用智能概述

人工智能 (Artificial Intelligence)，是研究、開(kāi)發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門(mén)新的技術(shù)科學(xué)。它起源于 20 世紀(jì)五六十年代，經(jīng)過(guò)半個(gè)多世紀(jì)的演變，經(jīng)歷了符號(hào)主義、連接主義和行為主體三次浪潮的相互交織發(fā)展，到如今，作為一項(xiàng)新興的通用技術(shù)，正在推動(dòng)著社會(huì)生活與各行各業(yè)的巨變。而現(xiàn)階段常見(jiàn)的生成式 AI 更具體的定義是：人工通用智能（Artificial General Intelligence, 簡(jiǎn)稱 AGI），一種具有廣泛理解能力的人工智能系統(tǒng)，它能在多種不同任務(wù)和領(lǐng)域中表現(xiàn)出與人類相似或超越人類的智能。AGI 基本需要三個(gè)要素組成，深度學(xué)習(xí)（deep learning，簡(jiǎn)稱 DL）、大數(shù)據(jù)、大規(guī)模算力。

深度學(xué)習(xí)

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)（ML）的一個(gè)子領(lǐng)域，深度學(xué)習(xí)算法是仿照人腦建模的神經(jīng)網(wǎng)絡(luò)。例如，人腦包含數(shù)百萬(wàn)個(gè)相互關(guān)聯(lián)的神經(jīng)元，它們協(xié)同工作以學(xué)習(xí)和處理信息。同樣，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)（或人工神經(jīng)網(wǎng)絡(luò)）是由在計(jì)算機(jī)內(nèi)部協(xié)同工作的多層人工神經(jīng)元組成的。人工神經(jīng)元是稱為節(jié)點(diǎn)的軟件模塊，它使用數(shù)學(xué)計(jì)算來(lái)處理數(shù)據(jù)。人工神經(jīng)網(wǎng)絡(luò)是使用這些節(jié)點(diǎn)來(lái)解決復(fù)雜問(wèn)題的深度學(xué)習(xí)算法。

從層次上劃分神經(jīng)網(wǎng)絡(luò)可分為輸入層、隱藏層、輸出層，而不同層之間連接的便是參數(shù)。

輸入層（Input Layer）：輸入層是神經(jīng)網(wǎng)絡(luò)的第一層，負(fù)責(zé)接收外部輸入數(shù)據(jù)。輸入層的每個(gè)神經(jīng)元對(duì)應(yīng)于輸入數(shù)據(jù)的一個(gè)特征。例如，在處理圖像數(shù)據(jù)時(shí)，每個(gè)神經(jīng)元可能對(duì)應(yīng)于圖像的一個(gè)像素值；

隱藏層（Hidden Layers）：輸入層處理數(shù)據(jù)并將其傳遞到神經(jīng)網(wǎng)絡(luò)中更遠(yuǎn)的層。這些隱藏層在不同層級(jí)處理信息，在接收新信息時(shí)調(diào)整其行為。深度學(xué)習(xí)網(wǎng)絡(luò)有數(shù)百個(gè)隱藏層，可用于從多個(gè)不同角度分析問(wèn)題。例如，你得到了一張必須分類的未知?jiǎng)游锏膱D像，則可以將其與你已經(jīng)認(rèn)識(shí)的動(dòng)物進(jìn)行比較。比如通過(guò)耳朵形狀、腿的數(shù)量、瞳孔的大小來(lái)判斷這是什么動(dòng)物。深度神經(jīng)網(wǎng)絡(luò)中的隱藏層以相同的方式工作。如果深度學(xué)習(xí)算法試圖對(duì)動(dòng)物圖像進(jìn)行分類，則其每個(gè)隱藏層都會(huì)處理動(dòng)物的不同特征并嘗試對(duì)其進(jìn)行準(zhǔn)確的分類；

輸出層（Output Layer）：輸出層是神經(jīng)網(wǎng)絡(luò)的最后一層，負(fù)責(zé)生成網(wǎng)絡(luò)的輸出。輸出層的每個(gè)神經(jīng)元代表一個(gè)可能的輸出類別或值。例如，在分類問(wèn)題中，每個(gè)輸出層神經(jīng)元可能對(duì)應(yīng)于一個(gè)類別，而在回歸問(wèn)題中，輸出層可能只有一個(gè)神經(jīng)元，其值表示預(yù)測(cè)結(jié)果；

參數(shù)：在神經(jīng)網(wǎng)絡(luò)中，不同層之間的連接由權(quán)重（Weights）和偏置（Biases）參數(shù)表示，這些參數(shù)在訓(xùn)練過(guò)程中被優(yōu)化以使網(wǎng)絡(luò)能夠準(zhǔn)確地識(shí)別數(shù)據(jù)中的模式和進(jìn)行預(yù)測(cè)。參數(shù)的增加可以提高神經(jīng)網(wǎng)絡(luò)的模型容量，即模型能夠?qū)W習(xí)和表示數(shù)據(jù)中復(fù)雜模式的能力。但相對(duì)應(yīng)的是參數(shù)的增加會(huì)提升對(duì)算力的需求。

大數(shù)據(jù)

為了有效訓(xùn)練，神經(jīng)網(wǎng)絡(luò)通常需要大量、多樣及質(zhì)量高和多源的數(shù)據(jù)。它是機(jī)器學(xué)習(xí)模型訓(xùn)練和驗(yàn)證的基礎(chǔ)。通過(guò)分析大數(shù)據(jù)，機(jī)器學(xué)習(xí)模型可以學(xué)習(xí)數(shù)據(jù)中的模式和關(guān)系，從而進(jìn)行預(yù)測(cè)或分類。

大規(guī)模算力

神經(jīng)網(wǎng)絡(luò)的多層復(fù)雜結(jié)構(gòu)、大量參數(shù)、大數(shù)據(jù)處理需求、迭代訓(xùn)練方式（在訓(xùn)練階段，模型需要反復(fù)迭代，訓(xùn)練過(guò)程中需要對(duì)每一層計(jì)算前向傳播和反向傳播，包括激活函數(shù)的計(jì)算、損失函數(shù)的計(jì)算、梯度的計(jì)算和權(quán)重的更新）、高精度計(jì)算需求、并行計(jì)算能力、優(yōu)化和正則化技術(shù)以及模型評(píng)估和驗(yàn)證過(guò)程共同導(dǎo)致了對(duì)高算力的需求，隨著深度學(xué)習(xí)的推進(jìn)，AGI 對(duì)大規(guī)模算力的要求每年增加 10 倍左右。截止目前最新的模型 GPT-4 包含 1.8 兆參數(shù)，單次訓(xùn)練成本超 6000 萬(wàn)美元，所需算力 2.15e25 FLOPS（21500 萬(wàn)億次浮點(diǎn)計(jì)算）。而接下來(lái)的模型訓(xùn)練對(duì)算力的需求還在不斷擴(kuò)大，新的模型也在不斷增加。

AI 算力經(jīng)濟(jì)學(xué)

未來(lái)市場(chǎng)規(guī)模

根據(jù)最權(quán)威的測(cè)算，國(guó)際數(shù)據(jù)公司 IDC（International Data Corporation）與浪潮信息和清華大學(xué)全球產(chǎn)業(yè)研究院聯(lián)合編制的《2022-2023 全球計(jì)算力指數(shù)評(píng)估報(bào)告》，全球 AI 計(jì)算市場(chǎng)規(guī)模將從 2022 年的 195.0 億美元增長(zhǎng)到 2026 年的 346.6 億美元，其中生成式 AI 計(jì)算市場(chǎng)規(guī)模將從 2022 年的 8.2 億美元增長(zhǎng)到 2026 年的 109.9 億美元。生成式 AI 計(jì)算占整體 AI 計(jì)算市場(chǎng)的比例將從 4.2% 增長(zhǎng)到 31.7%。

算力經(jīng)濟(jì)壟斷

AI GPU 的生產(chǎn)已被 NVIDA 獨(dú)家壟斷，還極其昂貴（最新的 H100，單片售價(jià)已炒至 4 萬(wàn)美元），并且 GPU 一經(jīng)發(fā)售就遭硅谷巨頭搶購(gòu)一空，這些設(shè)備的其中一部分用于自家新模型的訓(xùn)練。而另外一部分則通過(guò)云平臺(tái)出租給 AI 開(kāi)發(fā)者，如 Google、Amazon 和 Microsoft 的云計(jì)算平臺(tái)掌握了大量的服務(wù)器、GPU 和 TPU 等算力資源。算力已然成為巨頭壟斷的新資源，大量 AI 相關(guān)開(kāi)發(fā)者甚至購(gòu)買(mǎi)不到一張不加價(jià)的專用 GPU，為了使用最新的設(shè)備，開(kāi)發(fā)者不得不租用 AWS 或者 Microsoft 的云服務(wù)器。從財(cái)報(bào)上看這項(xiàng)業(yè)務(wù)擁有極高的利潤(rùn)，AWS 的云服務(wù)有 61% 的毛利率，而微軟則更高有 72% 的毛利率。

那么我們是否不得不接受這種集中式的權(quán)威和控制，并為算力資源支付 72% 的利潤(rùn)費(fèi)用？壟斷 Web2 的巨頭還會(huì)壟斷下一個(gè)時(shí)代嗎？

去中心化 AGI 算力的難題

提到反壟斷，去中心化通常都是最優(yōu)解，從現(xiàn)有的項(xiàng)目看我們是否能通過(guò) DePIN 中的存儲(chǔ)項(xiàng)目加 RDNR 之類的空閑 GPU 利用協(xié)議來(lái)實(shí)現(xiàn) AI 所需的大規(guī)模算力？答案是否定的，屠龍的道路并沒(méi)有那么簡(jiǎn)單，早期的項(xiàng)目并沒(méi)有為 AGI 算力而專門(mén)設(shè)計(jì)，不具備可行性，算力上鏈至少需要面臨以下五個(gè)挑戰(zhàn)：

1.工作驗(yàn)證：構(gòu)建一個(gè)真正無(wú)需信任的計(jì)算網(wǎng)絡(luò)，并為參與者提供經(jīng)濟(jì)激勵(lì)，網(wǎng)絡(luò)必須有辦法驗(yàn)證深度學(xué)習(xí)計(jì)算工作是否實(shí)際執(zhí)行。這個(gè)問(wèn)題的核心是深度學(xué)習(xí)模型的狀態(tài)依賴性；在深度學(xué)習(xí)模型中，每一層的輸入都依賴于前一層的輸出。這意味著，不能僅僅驗(yàn)證模型中的某一層而不考慮它之前的所有層。每一層的計(jì)算都是基于它前面所有層的結(jié)果。因此，為了驗(yàn)證特定點(diǎn)（比如特定的層）完成的工作，必須執(zhí)行從模型的開(kāi)始到那個(gè)特定點(diǎn)的所有工作；

2.市場(chǎng)：AI 算力市場(chǎng)作為一個(gè)新興市場(chǎng)受制于供求困境，比如冷啟動(dòng)問(wèn)題，供應(yīng)和需求流動(dòng)性需要從一開(kāi)始就大致匹配，以便市場(chǎng)能夠成功地增長(zhǎng)。為了捕獲潛在的算力供應(yīng)，必須為參與者提供明確的獎(jiǎng)勵(lì)以換取他們的算力資源。市場(chǎng)需要一個(gè)機(jī)制來(lái)跟蹤完成的計(jì)算工作，并及時(shí)向提供者支付相應(yīng)的費(fèi)用。傳統(tǒng)的市場(chǎng)中，中介負(fù)責(zé)處理管理和入職等任務(wù)，同時(shí)通過(guò)設(shè)定最低支付額度來(lái)減少運(yùn)營(yíng)成本。然而，這種方式在擴(kuò)展市場(chǎng)規(guī)模時(shí)成本較高。只有少部分供應(yīng)能夠在經(jīng)濟(jì)上被有效捕獲，這導(dǎo)致了一個(gè)閾值平衡狀態(tài)，即市場(chǎng)只能捕獲和維持有限的供應(yīng)，而無(wú)法進(jìn)一步增長(zhǎng)；

3.停機(jī)問(wèn)題：停機(jī)問(wèn)題是計(jì)算理論中的一個(gè)基本問(wèn)題，它涉及到判斷一個(gè)給定的計(jì)算任務(wù)是否會(huì)在有限的時(shí)間內(nèi)完成或者永遠(yuǎn)不會(huì)停止。這個(gè)問(wèn)題是不可解的，意味著不存在一個(gè)通用的算法能夠?qū)λ械挠?jì)算任務(wù)預(yù)判它們是否會(huì)在有限時(shí)間內(nèi)停止。比如在以太坊上智能合約執(zhí)行也面臨著類似的停機(jī)問(wèn)題。即無(wú)法預(yù)先確定一個(gè)智能合約的執(zhí)行需要多少計(jì)算資源，或者是否會(huì)在合理的時(shí)間內(nèi)完成；

（在深度學(xué)習(xí)的背景下，這個(gè)問(wèn)題將更復(fù)雜，因?yàn)槟Ｐ秃涂蚣軐撵o態(tài)圖構(gòu)建切換到動(dòng)態(tài)構(gòu)建和執(zhí)行。）

4.隱私：對(duì)隱私意識(shí)的設(shè)計(jì)和開(kāi)發(fā)是項(xiàng)目方必須要做的。雖然大量的機(jī)器學(xué)習(xí)研究可以在公開(kāi)數(shù)據(jù)集上進(jìn)行，但為了提高模型的性能和適應(yīng)特定的應(yīng)用，通常需要在專有的用戶數(shù)據(jù)上對(duì)模型進(jìn)行微調(diào)。這種微調(diào)過(guò)程可能涉及到個(gè)人數(shù)據(jù)的處理，因此需要考慮隱私保護(hù)的要求；

5.并行化：這一點(diǎn)是當(dāng)前項(xiàng)目不具備可行性的關(guān)鍵因素，深度學(xué)習(xí)模型通常在擁有專有架構(gòu)和極低的延遲的大型硬件集群上并行訓(xùn)練，而分布式計(jì)算網(wǎng)絡(luò)中的 GPU 需要進(jìn)行頻繁的數(shù)據(jù)交換將會(huì)帶來(lái)延遲，并且會(huì)受限于性能最低的 GPU。算力源存在不可信與不可靠的情況下，如何異構(gòu)并行化是必須解決的問(wèn)題，目前可行的方法是通過(guò)變壓器模型（Transformer Model）來(lái)實(shí)現(xiàn)并行化，比如 Switch Transformers，現(xiàn)在已經(jīng)具有高度并行化的特性。

解決方案：雖然目前對(duì)于去中心化 AGI 算力市場(chǎng)的嘗試還處于早期，但恰好存在兩個(gè)項(xiàng)目初步解決了去中心化網(wǎng)絡(luò)的共識(shí)設(shè)計(jì)及去中心化算力網(wǎng)絡(luò)在模型訓(xùn)練和推理上的落地過(guò)程。下文將以 Gensyn 和 Together 為例進(jìn)行分析去中心化 AGI 算力市場(chǎng)的設(shè)計(jì)方式與問(wèn)題所在。

Gensyn

Gensyn 是一個(gè)還處于構(gòu)建階段的 AGI 算力市場(chǎng)，旨在解決去中心化深度學(xué)習(xí)計(jì)算的多種挑戰(zhàn)，以及降低當(dāng)前深度學(xué)習(xí)的費(fèi)用。Gensyn 本質(zhì)上是基于 Polkadot 網(wǎng)絡(luò)上的第一層權(quán)益證明協(xié)議，它通過(guò)智能合約直接獎(jiǎng)勵(lì)求解者（Solver）換取他們的閑置 GPU 設(shè)備用于計(jì)算，并執(zhí)行機(jī)器學(xué)習(xí)任務(wù)。

那么回到上文的問(wèn)題，構(gòu)建一個(gè)真正無(wú)需信任的計(jì)算網(wǎng)絡(luò)核心在于驗(yàn)證已完成的機(jī)器學(xué)習(xí)工作。這是一個(gè)高度復(fù)雜的問(wèn)題，需要在復(fù)雜性理論、博弈論、密碼學(xué)和優(yōu)化的交匯之間找到一個(gè)平衡點(diǎn)。

Gensyn 提出一個(gè)簡(jiǎn)單的解決方案是，求解者提交他們完成的機(jī)器學(xué)習(xí)任務(wù)的結(jié)果。為了驗(yàn)證這些結(jié)果是否準(zhǔn)確，另一個(gè)獨(dú)立的驗(yàn)證者會(huì)嘗試重新執(zhí)行相同的工作。這個(gè)方法可被稱為單一復(fù)制，因?yàn)橹挥幸粋€(gè)驗(yàn)證者會(huì)進(jìn)行重新執(zhí)行。這意味著只有一次額外的工作來(lái)驗(yàn)證原始工作的準(zhǔn)確性。然而，如果驗(yàn)證工作的人不是原始工作的請(qǐng)求者，那么信任問(wèn)題仍然存在。因?yàn)轵?yàn)證者本身可能也不誠(chéng)實(shí)，而且他們的工作需要被驗(yàn)證。這導(dǎo)致了一個(gè)潛在問(wèn)題，即如果驗(yàn)證工作的人不是原始工作的請(qǐng)求者，那么就需要另一個(gè)驗(yàn)證者來(lái)驗(yàn)證他們的工作。但這個(gè)新的驗(yàn)證者也可能不被信任，因此需要另一個(gè)驗(yàn)證者來(lái)驗(yàn)證他們的工作，這可能會(huì)一直延續(xù)下去，形成一個(gè)無(wú)限的復(fù)制鏈。此處需要引入三個(gè)關(guān)鍵概念并將其交織構(gòu)建四個(gè)角色的參與者系統(tǒng)來(lái)解決無(wú)限鏈問(wèn)題。

概率學(xué)習(xí)證明：使用基于梯度的優(yōu)化過(guò)程的元數(shù)據(jù)來(lái)構(gòu)建完成工作的證書(shū)。通過(guò)復(fù)制某些階段，可以快速驗(yàn)證這些證書(shū)，從而確保工作已經(jīng)如期完成。

基于圖的精確定位協(xié)議：使用多粒度、基于圖的精確定位協(xié)議，以及交叉評(píng)估器的一致性執(zhí)行。這允許重新運(yùn)行和比較驗(yàn)證工作以確保一致性，并最終由區(qū)塊鏈本身確認(rèn)。

Truebit 風(fēng)格的激勵(lì)游戲：使用抵押和削減來(lái)構(gòu)建激勵(lì)游戲，確保每個(gè)經(jīng)濟(jì)上合理的參與者都會(huì)誠(chéng)實(shí)行事并執(zhí)行其預(yù)期的任務(wù)。

參與者系統(tǒng)由提交者、求解者、驗(yàn)證者和舉報(bào)者組成。

• 提交者（Submitters）：

提交者是系統(tǒng)的終端用戶，提供將被計(jì)算的任務(wù)，并支付已完成工作單位的費(fèi)用；

• 求解者（Solvers）：

求解者是系統(tǒng)的主要工作者，執(zhí)行模型訓(xùn)練并生成由驗(yàn)證者檢查的證明；

• 驗(yàn)證者（Verifiers）：

驗(yàn)證者是將非確定性訓(xùn)練過(guò)程與確定性線性計(jì)算聯(lián)系起來(lái)的關(guān)鍵，復(fù)制解決者的證明的一部分并將距離與預(yù)期閾值進(jìn)行比較；

• 舉報(bào)者（Whistleblowers）：

舉報(bào)者是最后一道防線，檢查驗(yàn)證者的工作并提出挑戰(zhàn)，希望獲得豐厚的獎(jiǎng)金支付。

系統(tǒng)運(yùn)作

該協(xié)議設(shè)計(jì)的博弈系統(tǒng)運(yùn)作將包括八個(gè)階段，涵蓋四個(gè)主要參與者角色，用于完成從任務(wù)提交到最終驗(yàn)證的完整流程。

1.任務(wù)提交 (Task Submission)： 任務(wù)由三個(gè)特定的信息組成：

• 描述任務(wù)和超參數(shù)的元數(shù)據(jù)；

• 一個(gè)模型二進(jìn)制文件（或基本架構(gòu)）；

• 公開(kāi)可訪問(wèn)的、預(yù)處理過(guò)的訓(xùn)練數(shù)據(jù)。

2.為了提交任務(wù)，提交者以機(jī)器可讀的格式指定任務(wù)的詳細(xì)信息，并將其連同模型二進(jìn)制文件（或機(jī)器可讀架構(gòu)）和預(yù)處理過(guò)的訓(xùn)練數(shù)據(jù)的公開(kāi)可訪問(wèn)位置提交給鏈。公開(kāi)的數(shù)據(jù)可以存儲(chǔ)在簡(jiǎn)單的對(duì)象存儲(chǔ)如 AWS 的 S3 中，或在一個(gè)去中心化的存儲(chǔ)如 IPFS、Arweave 或 Subspace 中。

3.分析（Profiling）： 分析過(guò)程為學(xué)習(xí)驗(yàn)證的證明確定了一個(gè)基線距離閾值。驗(yàn)證者將定期抓取分析任務(wù)，并為學(xué)習(xí)證明比較生成變異閾值。為了生成閾值，驗(yàn)證者將確定性地運(yùn)行和重運(yùn)行訓(xùn)練的一部分，使用不同的隨機(jī)種子，生成并檢查自己的證明。在此過(guò)程中，驗(yàn)證者將建立一個(gè)可用作驗(yàn)證解決方案的非確定性工作的總體預(yù)期距離閾值。

4.訓(xùn)練（Training）： 在分析之后，任務(wù)進(jìn)入公共任務(wù)池（類似于以太坊的 Mempool）。選擇一個(gè)求解者來(lái)執(zhí)行任務(wù)，并從任務(wù)池中移除任務(wù)。求解者根據(jù)提交者提交的元數(shù)據(jù)以及提供的模型和訓(xùn)練數(shù)據(jù)執(zhí)行任務(wù)。在執(zhí)行訓(xùn)練任務(wù)時(shí)，求解者還通過(guò)定期檢查點(diǎn)并存儲(chǔ)訓(xùn)練過(guò)程中的元數(shù)據(jù)（包括參數(shù)）來(lái)生成學(xué)習(xí)證明，以便驗(yàn)證者盡可能準(zhǔn)確地復(fù)制以下優(yōu)化步驟。

5.證明生成（Proof generation）： 求解者周期性地存儲(chǔ)模型權(quán)重或更新以及與訓(xùn)練數(shù)據(jù)集的相應(yīng)索引，以識(shí)別用于生成權(quán)重更新的樣本?？梢哉{(diào)整檢查點(diǎn)頻率以提供更強(qiáng)的保證或節(jié)省存儲(chǔ)空間。證明可以「堆疊」，這意味著證明可以從用于初始化權(quán)重的隨機(jī)分布開(kāi)始，或從使用自己的證明生成的預(yù)訓(xùn)練權(quán)重開(kāi)始。這使協(xié)議能夠建立一組已經(jīng)證明的、預(yù)訓(xùn)練的基礎(chǔ)模型（即基礎(chǔ)模型），這些模型可以針對(duì)更具體的任務(wù)進(jìn)行微調(diào)。

6.證明的驗(yàn)證（Verification of proof）： 任務(wù)完成后，求解者向鏈注冊(cè)任務(wù)完成，并在公開(kāi)可訪問(wèn)的位置展示其學(xué)習(xí)證明，以便驗(yàn)證者訪問(wèn)。驗(yàn)證者從公共任務(wù)池中提取驗(yàn)證任務(wù)，并執(zhí)行計(jì)算工作以重運(yùn)行證明的一部分并執(zhí)行距離計(jì)算。然后鏈（連同在分析階段計(jì)算的閾值）使用得到的距離來(lái)確定驗(yàn)證是否與證明匹配。

7.基于圖的精確定位挑戰(zhàn)（Graph-based pinpoint challenge）： 在驗(yàn)證學(xué)習(xí)證明之后，舉報(bào)者可以復(fù)制驗(yàn)證者的工作以檢查驗(yàn)證工作本身是否正確執(zhí)行。如果舉報(bào)者認(rèn)為驗(yàn)證已被錯(cuò)誤執(zhí)行（惡意或非惡意），他們可以向合約仲裁發(fā)起挑戰(zhàn)以獲得獎(jiǎng)勵(lì)。這種獎(jiǎng)勵(lì)可以來(lái)自解決者和驗(yàn)證者的存款（在真正積極的情況下），或來(lái)自彩票庫(kù)獎(jiǎng)金池（在假陽(yáng)性的情況下），并使用鏈本身執(zhí)行仲裁。舉報(bào)者（在他們的例子中是驗(yàn)證者）只有在期望收到適當(dāng)?shù)难a(bǔ)償時(shí)才會(huì)驗(yàn)證并隨后挑戰(zhàn)工作。實(shí)際上，這意味著舉報(bào)者預(yù)計(jì)會(huì)根據(jù)其他活動(dòng)的舉報(bào)者的數(shù)量（即，具有實(shí)時(shí)存款和挑戰(zhàn)）加入和離開(kāi)網(wǎng)絡(luò)。因此，任何舉報(bào)者的預(yù)期默認(rèn)策略是在其他舉報(bào)者數(shù)量較少時(shí)加入網(wǎng)絡(luò)，發(fā)布存款，隨機(jī)選擇一個(gè)活動(dòng)任務(wù)，并開(kāi)始他們的驗(yàn)證過(guò)程。在第一個(gè)任務(wù)結(jié)束后，他們將抓取另一個(gè)隨機(jī)活動(dòng)任務(wù)并重復(fù)，直到舉報(bào)者的數(shù)量超過(guò)其確定的支付閾值，然后他們將離開(kāi)網(wǎng)絡(luò)（或更可能地，根據(jù)他們的硬件能力轉(zhuǎn)向網(wǎng)絡(luò)中執(zhí)行另一個(gè)角色——驗(yàn)證者或求解者），直到情況再次逆轉(zhuǎn)。

8.合約仲裁（Contract arbitration）：當(dāng)驗(yàn)證者被舉報(bào)人質(zhì)疑時(shí)，他們會(huì)與鏈條進(jìn)入一個(gè)流程，以找出有爭(zhēng)議的操作或輸入的位置，最 終由鏈條執(zhí)行最終的基本操作并確定質(zhì)疑是否有理。為了保持舉報(bào)人的誠(chéng)實(shí)可信并克服驗(yàn)證者的困境，此處引入定期強(qiáng)制錯(cuò)誤和頭獎(jiǎng)支付。

9.結(jié)算（Settlement）： 在結(jié)算過(guò)程中，根據(jù)概率和確定性檢查的結(jié)論來(lái)支付參與者。根據(jù)先前驗(yàn)證和挑戰(zhàn)的結(jié)果，不同的場(chǎng)景會(huì)有不同的支付。如果認(rèn)為工作已正確執(zhí)行且所有檢查都已通過(guò)，則根據(jù)執(zhí)行的操作獎(jiǎng)勵(lì)解決方案提供者和驗(yàn)證者。

項(xiàng)目簡(jiǎn)評(píng)

Gensyn 在驗(yàn)證層和激勵(lì)層上設(shè)計(jì)了一套精彩的博弈系統(tǒng)，通過(guò)找出網(wǎng)絡(luò)中的分歧點(diǎn)能快速鎖定錯(cuò)誤所在，但目前的系統(tǒng)中還缺少很多細(xì)節(jié)。比如說(shuō)如何設(shè)置參數(shù)才能保證獎(jiǎng)懲合理，又不會(huì)門(mén)檻過(guò)高？博弈中的環(huán)節(jié)是否有考慮過(guò)極端情況與求解者算力不同的問(wèn)題？在當(dāng)前版本的白皮書(shū)中也沒(méi)有異構(gòu)并行化運(yùn)行的詳細(xì)說(shuō)明，目前來(lái)看 Gensyn 的落地還道阻且長(zhǎng)。

Together.ai

Together 是一家專注于大模型的開(kāi)源，致力于去中心化的 AI 算力方案的公司，希望任何人在任何地方都能接觸和使用 AI。嚴(yán)格來(lái)說(shuō) Together 并非區(qū)塊鏈項(xiàng)目，但項(xiàng)目目前已經(jīng)初步解決了去中心化 AGI 算力網(wǎng)絡(luò)中的延遲問(wèn)題。所以下文只分析 Together 的解決方案，對(duì)項(xiàng)目不做評(píng)價(jià)。

在去中心化網(wǎng)絡(luò)比數(shù)據(jù)中心慢 100 倍的情況下，如何實(shí)現(xiàn)大模型的訓(xùn)練和推理？

讓我們想象一下去中心化的情況下，參與網(wǎng)絡(luò)的 GPU 設(shè)備分布情況會(huì)是怎么樣？這些設(shè)備將分布于不同的大洲，不同的城市，設(shè)備之間需要連接，而連接的延遲和帶寬又各不相同。如下圖所示，模擬了一個(gè)分布式的情況，設(shè)備分布處于北美洲、歐洲和亞洲，設(shè)備之間的帶寬和延遲各不相同。那么需要如何做才能將其串聯(lián)？

分布式訓(xùn)練計(jì)算建模：下圖為在多臺(tái)設(shè)備上進(jìn)行基礎(chǔ)模型訓(xùn)練的情況，從通信類型來(lái)看具有前向激活 (Forward Activation)、反向梯度（Backward Gradient）、橫向通信三種通信類型。

結(jié)合通信帶寬和延遲，需要考慮兩種形式的并行性：管道并行性和數(shù)據(jù)并行性，對(duì)應(yīng)于多設(shè)備情況下的三種通信類型：

在管道并行中，模型的所有層都分為多個(gè)階段，其中每個(gè)設(shè)備處理一個(gè)階段，該階段是連續(xù)的層序列，例如多個(gè) Transformer 塊；在前向傳遞中，激活被傳遞到下一個(gè)階段，而在后向傳遞中，激活的梯度被傳遞到前一階段。

在數(shù)據(jù)并行中，設(shè)備獨(dú)立計(jì)算不同微批次的梯度，但需要通過(guò)通信來(lái)同步這些梯度。

調(diào)度優(yōu)化：

在一個(gè)去中心化的環(huán)境中，訓(xùn)練過(guò)程通常受到通信限制。調(diào)度算法一般會(huì)將需要大量通信的任務(wù)分配給連接速度更快的設(shè)備，考慮到任務(wù)之間的依賴關(guān)系和網(wǎng)絡(luò)的異構(gòu)性，首先需要對(duì)特定的調(diào)度策略的成本進(jìn)行建模。為了捕捉訓(xùn)練基礎(chǔ)模型的復(fù)雜通信成本，Together 提出了一個(gè)新穎的公式，并通過(guò)圖論將成本模型分解為兩個(gè)層次：

• 圖論是數(shù)學(xué)的一個(gè)分支，主要研究圖（網(wǎng)絡(luò)）的性質(zhì)和結(jié)構(gòu)。圖由頂點(diǎn)（節(jié)點(diǎn)）和邊（連接節(jié)點(diǎn)的線）組成。圖論中的主要目的是研究圖的各種性質(zhì)，如圖的連通性、圖的色彩、圖中路徑和循環(huán)的性質(zhì)。

• 第一層是一個(gè)平衡圖劃分（將圖的頂點(diǎn)集合分割成幾個(gè)相等大小或近似相等大小的子集，同時(shí)使得子集之間的邊的數(shù)量最小。在這種分割中，每個(gè)子集代表一個(gè)分區(qū)，并且通過(guò)最小化分區(qū)間的邊來(lái)減少通信成本）問(wèn)題，對(duì)應(yīng)于數(shù)據(jù)并行的通信成本。

• 第二層是一個(gè)聯(lián)合圖匹配和旅行商問(wèn)題（聯(lián)合圖匹配和旅行商問(wèn)題是一個(gè)組合優(yōu)化問(wèn)題，它結(jié)合了圖匹配和旅行商問(wèn)題的元素。圖匹配問(wèn)題是在圖中找到一個(gè)匹配，使得某種成本最小化或最大化。而旅行商問(wèn)題是尋找一條訪問(wèn)圖中所有節(jié)點(diǎn)的最短路徑），對(duì)應(yīng)于管道并行的通信成本。

上圖為流程示意圖，由于實(shí)際的實(shí)現(xiàn)過(guò)程中涉及一些復(fù)雜的計(jì)算公式。為了便于理解，下文將把圖中的流程說(shuō)的通俗一些，詳細(xì)的實(shí)現(xiàn)過(guò)程可以自行查詢 Together 官網(wǎng)中的文檔。

假定有一個(gè)包含 N 個(gè)設(shè)備的設(shè)備集 D，其間的通信有不確定的延遲（A 矩陣）和帶寬（B 矩陣）。基于設(shè)備集 D，我們首先生成一個(gè)平衡的圖分割。每個(gè)分割或設(shè)備組中的設(shè)備數(shù)量大致相等，并且它們都處理相同的流水線階段。這確保了數(shù)據(jù)并行時(shí)，各設(shè)備組執(zhí)行相似量的工作。（數(shù)據(jù)并行是指多個(gè)設(shè)備執(zhí)行相同的任務(wù)，而流水線階段則是指設(shè)備按照特定的順序執(zhí)行不同的任務(wù)步驟）。根據(jù)通信的延遲和帶寬，通過(guò)公式可以計(jì)算出在設(shè)備組間傳輸數(shù)據(jù)的「成本」。每個(gè)平衡的設(shè)備組都被合并，生成一個(gè)全連接的粗糙圖，其中每個(gè)節(jié)點(diǎn)代表流水線的階段，邊代表兩個(gè)階段之間的通信成本。為了最小化通信成本，使用匹配算法來(lái)確定哪些設(shè)備組應(yīng)該一起工作。

為了進(jìn)一步優(yōu)化，還可以把這個(gè)問(wèn)題被建模成一個(gè)開(kāi)環(huán)的旅行商問(wèn)題（開(kāi)環(huán)意味著不需要返回路徑起點(diǎn)），從而找到一個(gè)在所有設(shè)備間傳輸數(shù)據(jù)的最優(yōu)路徑。最后 Together 再通過(guò)一個(gè)他們創(chuàng)新的調(diào)度算法找到給定成本模型的最佳分配策略，從而實(shí)現(xiàn)最小化通信成本，最大化訓(xùn)練吞吐量。根據(jù)實(shí)測(cè)，在這個(gè)調(diào)度優(yōu)化下即使網(wǎng)絡(luò)慢 100 倍，端到端的訓(xùn)練吞吐量大概只慢了 1.7 至 2.3 倍。

通信壓縮優(yōu)化：

對(duì)于通信壓縮的優(yōu)化，Together 引入了 AQ-SGD 算法（詳細(xì)計(jì)算過(guò)程，可參考論文 Fine-tuning Language Models over Slow Networks using Activation Compression with Guarantees），AQ-SGD 算法是為了解決在低速網(wǎng)絡(luò)上進(jìn)行管道并行訓(xùn)練的通信效率問(wèn)題而設(shè)計(jì)的一種新穎的活性壓縮技術(shù)。與以往直接壓縮活性值的方法不同，AQ-SGD 聚焦于壓縮同一訓(xùn)練樣本在不同時(shí)期的活性值的變化，這種獨(dú)特的方法引入了一個(gè)有趣的「自我執(zhí)行」動(dòng)態(tài)，隨著訓(xùn)練的穩(wěn)定，該算法的表現(xiàn)預(yù)計(jì)會(huì)逐漸提高。AQ-SGD 算法經(jīng)過(guò)嚴(yán)格的理論分析，證明了在一定的技術(shù)條件和有界誤差的量化函數(shù)下具有良好的收斂率。該算法不僅可以有效實(shí)現(xiàn)，而且不會(huì)增加額外的端到端運(yùn)行時(shí)開(kāi)銷，盡管它需要利用更多的內(nèi)存和 SSD 來(lái)存儲(chǔ)活性值。通過(guò)在序列分類和語(yǔ)言建模數(shù)據(jù)集上的廣泛實(shí)驗(yàn)驗(yàn)證，AQ-SGD 可以將活性值壓縮到 2-4 位而不犧牲收斂性能。此外，AQ-SGD 還可以與最先進(jìn)的梯度壓縮算法集成，實(shí)現(xiàn)「端到端通信壓縮」，即所有機(jī)器之間的數(shù)據(jù)交換，包括模型梯度、前向活性值和反向梯度，都被壓縮成低精度，從而大幅提高分布式訓(xùn)練的通信效率。與在中心化算力網(wǎng)絡(luò)（比如 10 Gbps）無(wú)壓縮情況下的端到端訓(xùn)練性能相比，目前只慢了 31% 。結(jié)合調(diào)度優(yōu)化的數(shù)據(jù)來(lái)看，雖然距離中心化算力網(wǎng)絡(luò)還有一定差距，但未來(lái)追趕的希望是比較大的。

結(jié)語(yǔ)

在 AI 浪潮帶來(lái)的紅利期下，AGI 算力市場(chǎng)無(wú)疑是諸多算力市場(chǎng)中潛力最大、需求最多的市場(chǎng)。但開(kāi)發(fā)難度，硬件要求，資金需求也是最高的。結(jié)合上文兩個(gè)項(xiàng)目的情況來(lái)看，AGI 算力市場(chǎng)的落地還有一定距離，真正的去中心化網(wǎng)絡(luò)也要比理想情況復(fù)雜的多，目前顯然還不足以跟云巨頭競(jìng)爭(zhēng)。而在撰寫(xiě)這篇文章時(shí)，也觀察到現(xiàn)在一些處于襁褓期（PPT 階段）體量不大的項(xiàng)目已經(jīng)開(kāi)始探尋一些新的切入點(diǎn)，比如將重心放在難度更低的推理階段或者是小模型的訓(xùn)練上，這些更為實(shí)際的嘗試中。

AGI 算力市場(chǎng)最終將以怎樣的姿態(tài)實(shí)現(xiàn)目前還尚未可知，雖然面臨著諸多挑戰(zhàn)，但從長(zhǎng)遠(yuǎn)來(lái)看 AGI 算力去中心化和無(wú)需許可的意義是重要的，推理與訓(xùn)練的權(quán)利不該集中于少數(shù)幾個(gè)中心化巨頭。因?yàn)槿祟惒恍枰碌摹干窠獭挂膊恍枰碌摹附袒省梗?