讀取、索引到分析 簡述Web3數據索引賽道
1引言
從2017年的第一波dAppEtheroll、ETHLend與CryptoKitties開始，到如今各式各樣基于不同Blockchain的金融、游戲與社交dApp百花齊放，當我們談論Decentralization的鏈上應用時，是否曾思考過這些dApp在交互中所采納的各類數據的源頭？
2024年，熱點聚焦于AI與Web3，在人工智能的世界里，數據就像是其成長與進化的生命源泉。正如植物依賴陽光和水分才能茁壯成長，AI系統同樣依賴海量的數據來不斷「學習」和「思考」。沒有數據，AI的算法再精妙也不過是空中樓閣，無法發揮其應有的智能與效能。
本文從Blockchain數據可訪問性（DataAccessibility）的角度，深入分析了行業發展過程中Blockchain數據索引的演變，并對比了老牌數據索引協議TheGraph與新興的Blockchain數據服務協議Chainbase和SpaceandTime，特別探討了這兩個結合AI技術的新晉協議在數據服務與產品架構特色的異同。2數據索引的繁與簡：從BlockchainNode到全鏈數據庫
2.1數據源頭：BlockchainNode
從一開始了解「Blockchain是什么」時，我們就常看到這樣一句話：Blockchain是Decentralization的記賬本。BlockchainNode是整個Blockchain網絡的基礎，承擔著記錄、存儲和傳播鏈上所有交易數據的責任。每個Node都擁有一份完整的Blockchain數據副本，確保網絡的Decentralization特性得以維持。然而，對于普通用戶來說，自建和維護一個BlockchainNode并非易事。這不僅需要專業的技術能力，還伴隨著高昂的硬件和帶寬成本。同時，普通的Node查詢能力也有限，無法以開發人員需要的格式查詢數據。因此，盡管理論上每個人都可以運行自己的Node，但實際操作中，用戶通常更傾向于依賴第三方服務。
為了解決這一問題，RPC（遠程過程調用）Node提供商應運而生。這些提供商負責Node的成本和管理，并通過RPC端點提供數據。使得用戶可以無需自建Node，便可輕松訪問Blockchain數據。公共RPC端點是免費的，但有速率限制，可能會對dApp的用戶體驗產生負面影響。私有RPC端點通過減少擁塞提供更好的性能，但即使是簡單的數據檢索也需要大量的來回通信。這使得它們請求繁重，對于復雜的數據查詢效率低下。此外，私有RPC端點通常難以擴展，并且缺乏跨不同網絡的兼容性。但Node提供商標準化的API接口給予了用戶訪問鏈上的數據更低的門檻，為后續的數據解析和應用打下了基礎。
2.2數據解析：從原型數據到可用數據
從BlockchainNode獲取的數據往往是經過加密和編碼處理的原始數據。這些數據雖然保留了Blockchain的完整性和安全性，但其復雜性也增加了數據解析的難度。對于普通用戶或者開發者來說，直接處理這些原型數據需要大量的技術知識和計算資源。
數據解析的過程在這一背景下顯得尤為重要。通過將復雜的原型數據進行解析，轉換為更易理解和操作的格式，用戶可以更直觀地理解和利用這些數據。數據解析的成功與否直接決定了Blockchain數據應用的效率和效果，是整個數據索引流程中的關鍵一步。
2.3數據索引器的演進
隨著Blockchain數據量的增加，數據索引器的需求也日益增加。索引器在組織鏈上數據并將其發送到數據庫以便于查詢方面起著至關重要的作用。索引器的工作原理是索引Blockchain數據并通過類似于SQL的查詢語言（GraphQL等API）使其隨時可用。通過提供查詢數據的統一界面，索引器允許開發人員使用標準化查詢語言快速準確地檢索所需的信息，從而大大簡化了流程。
不同類型的索引器通過各種方式優化數據檢索：
完整Node索引器：這些索引器運行完整的BlockchainNode并直接從中提取數據，確保數據完整準確，但需要大量的存儲和處理能力。
輕量級索引器：這些索引器依靠完整Node根據需要獲取特定數據，從而減少存儲要求但可能會增加查詢時間。
專用索引器：這些索引器專門針對某些類型的數據或特定的Blockchain，可優化特定用例的檢索，例如NFT數據或DeFi交易。
聚合索引器：這些索引器從多個Blockchain和來源提取數據，包括鏈下信息，提供統一的查詢界面，這對于多鏈dApp特別有用。
目前，Ethereum檔案Node（ArchiveNode）在Geth客戶端中的存檔模式占用了約13.5TB的存儲空間，而在Erigon客戶端下，存檔需求約為3TB。隨著Blockchain的不斷增長，檔案Node的數據存儲量也會隨之增加。面對如此龐大的數據量，主流索引器協議不僅支持多鏈索引，還針對不同應用的數據需求，定制了數據解析框架。例如，TheGraph的「子圖」（Subgraph）框架就是一個典型案例。
索引器的出現大大提升了數據的索引和查詢效率。與傳統的RPC端點相比，索引器可以高效地索引大量數據，并支持高速查詢。這些索引器允許用戶執行復雜的查詢，輕松過濾數據，并在提取后進行分析。此外，一些索引器還支持聚合來自多個Blockchain的數據源，避免在多鏈dApp中需要部署多個API的問題。通過在多個Node上分布式運行，索引器不僅提供了更強的安全性和性能，也減少了集中式RPC提供商可能帶來的中斷和停機風險。
相比之下，索引器通過預先定義的查詢語言，使得用戶可以在無需處理底層復雜數據的情況下，直接獲取所需信息。這種機制顯著提高了數據檢索的效率和可靠性，是Blockchain數據訪問的重要創新。
2.4全鏈數據庫：向流優先對齊
使用索引Node查詢數據通常意味著API成為消化鏈上數據唯一門戶。然而，當一個項目進入擴展階段時，往往需要更靈活的數據源，而這是標準化的API無法提供的。隨著應用需求的復雜化，初級數據索引器與其標準化的索引格式逐漸難以滿足越來越多樣化的查詢需求，例如搜索、跨鏈訪問或鏈下數據映射。
這些服務旨在解決對Blockchain交易進行實時解析和提供更全面查詢能力的需求。正如「流優先」架構通過降低延遲和增強響應能力，革新了傳統數據管道中的數據處理和消費方式一樣，這些Blockchain數據流服務商也希望通過更先進且成熟的數據源，支持更多應用程序的發展并輔助鏈上數據分析。
通過現代數據管道的視角重新定義鏈上數據的挑戰，我們得以從全新的角度看待鏈上數據的管理、存儲和提供的全部潛力。當我們開始將子圖和EthereumETL等索引器視為數據管道中的數據流而非最終輸出時，便可以設想一個能夠為任何業務用例量身定制高性能數據集的可能世界。3AI+Database?深入對比TheGraph,Chainbase,SpaceandTime
3.1TheGraph
TheGraph網絡通過一個Decentralization的Node網絡來實現多鏈數據索引和查詢服務，促進開發者便捷地索引Blockchain數據并構建Decentralization應用。其主要的產品模式為數據查詢執行市場和數據索引緩存的市場，這兩個市場本質都是服務于用戶的產品查詢需求，其中數據查詢執行市場具體指消費者為所需的數據選擇合適的提供數據的索引Node付費，數據索引緩存的市場則是索引Node依據子圖的歷史索引熱度、收取的查詢費、鏈上策展人對子圖輸出的需求調動資源分配的市場。
子圖（Subgraphs）是TheGraph網絡中的基礎數據結構。它們定義了如何從Blockchain中提取并轉換數據為可查詢的格式（例如GraphQL模式）。任何人都可以創建子圖，且多個應用可以重復使用這些子圖，這提升了數據可復用性和使用效率。
TheGraph網絡由四個關鍵角色構成：索引器、策展人、委托人和開發者，他們共同為web3應用提供數據支持。以下是他們各自的職責：
索引器（Indexer）：索引器是TheGraph網絡中的Node運營商，索引節通過質押GRT（TheGraph的原生Tokens）參與網絡，提供索引和查詢處理服務。
委托者（Delegator）：委托者是那些將GRTTokens質押給索引Node以支持其運營的用戶。委托者通過他們所委托的索引Node賺取部分獎勵。
策展人（Curator）：策展人負責信號哪些子圖應該被網絡索引。策展人幫助確保有價值的子圖被優先處理。
開發者（Developer）：與前三者作為供應方不同，開發者是需求方，是TheGraph的主要用戶。他們創建并提交子圖至TheGraph網絡，等待網絡滿足需求數據。
索引Node獎勵：索引Node通過消費者的查詢費用和部分GRTTokens區塊獎勵來賺取收益。
委托者獎勵：委托者通過他們所支持的索引Node獲得部分獎勵。
策展人獎勵：如果策展人信號了有價值的子圖，他們可以從查詢費用中獲得部分獎勵。
事實上，TheGraph的產品也在AI浪潮中迅速發展。作為TheGraph生態系統的核心開發團隊之一，SemioticLabs一直致力于利用AI技術優化索引定價和用戶查詢體驗。當前，SemioticLabs開發的AutoAgora、AllocationOptimizer和AgentC工具分別在多個方面提升了生態系統的性能。
AutoAgora引入動態定價機制，基于查詢量和資源使用情況實時調整價格，優化定價策略，確保索引器的競爭力和收入最大化。
AllocationOptimizer解決了子圖資源分配的復雜問題，幫助索引器實現資源的最佳配置，以提升收入和性能。
AgentC是一個實驗性工具，允許用戶通過自然語言訪問TheGraph的Blockchain數據，從而提升用戶體驗。
這些工具的應用使得TheGraph結合AI輔助進一步提升了系統的智能化和用戶友好度。
3.2Chainbase
Chainbase是一個全鏈數據網絡，將所有Blockchain數據整合到一個平臺，方便開發者更輕松地構建和維護應用程序。它的獨特功能包括：
實時數據湖：Chainbase提供了一個專門用于Blockchain數據流的實時數據湖，使得數據在生成時即可被即時訪問。
雙鏈架構：Chainbase基于EigenlayerAVS構建了一個執行層，與CometBFT的共識算法形成并行的雙鏈架構。這種設計增強了跨鏈數據的可編程性和可組合性，支持高吞吐量、低延遲和最終性，并通過雙重質押模型提升了網絡安全性。
創新數據格式標準：Chainbase引入了一種名為「manuscripts」的全新數據格式標準，優化了加密行業中數據的結構化和利用方式。
加密世界模型：憑借其龐大的Blockchain數據資源，Chainbase結合AI模型技術，打造了能夠有效理解、預測Blockchain交易并與之交互的AI模型。目前已推出基礎版模型Theia，供公眾使用。
Chainbase的AI模型Theia是其區別于其他數據服務協議的關鍵亮點。Theia基于NVIDIA開發的DORA模型，結合鏈上和鏈下數據以及時空活動，學習并分析加密模式，并通過因果推理做出響應，從而深入挖掘鏈上數據的潛在價值和規律，為用戶提供更加智能化的數據服務。
AI賦能的數據服務使Chainbase不再僅僅是一個Blockchain數據服務平臺，而成為一個更具競爭力的智能化數據服務商。通過強大的數據資源和AI的主動分析，Chainbase能夠提供更廣泛的數據洞察，并優化用戶的數據處理過程。
3.3SpaceandTime
SpaceandTime(SxT)意在打造可驗證的計算層，在Decentralization數據倉庫上擴展零知識證明，從而為智能合約、大語言模型和企業提供可信的數據處理。目前SpaceandTime已獲得2000萬美元最新一輪的A輪融資，由FrameworkVentures、LightspeedFaction、ArringtonCapital和HivemindCapital領投。
在數據索引和驗證領域，SpaceandTime引入了一種全新的技術路徑——ProofofSQL。這是SpaceandTime開發的一種創新零知識證明（ZKP）技術，確保在Decentralization數據倉庫上執行的SQL查詢是防篡改的和可驗證的。當運行查詢時，ProofofSQL會生成一個加密證明，驗證查詢結果的完整性和準確性。這個證明附加在查詢結果上，使任何驗證者（如智能合約等）都可以獨立確認數據在處理過程中未被篡改。傳統的Blockchain網絡通常依賴共識機制來驗證數據的真實性，而SpaceandTime的ProofofSQL實現了一種更為高效的數據驗證方式。具體來說，在SpaceandTime的系統中，一個Node負責數據的獲取，而其他Node則通過zk技術驗證該數據的真實性。這種方式改變了共識機制下多個Node重復索引相同數據的到最終達成共識獲取數據的資源損耗，提升了系統的整體性能。隨著這項技術的成熟，它為著重數據可靠性的一系列傳統行業使用Blockchain上數據構造產品打造了落腳石。
3.4差異對比
綜上所述，Blockchain數據索引技術從最初的Node數據源頭，經過數據解析和索引器的發展，最終演進到AI賦能的全鏈數據服務，經歷了一個逐步完善的過程。這些技術的不斷演進，不僅提高了數據訪問的效率和準確性，還為用戶帶來了前所未有的智能化體驗。
展望未來，隨著AI技術和零知識證明等新技術的不斷發展，Blockchain數據服務將進一步智能化和安全化。我們有理由相信，Blockchain數據服務將在未來作為基礎設施繼續發揮重要作用，為行業的進步和創新提供有力支持。